[論文レビュー] A binary Hopfield network with $1/\log(n)$ information rate and applications to grid cell decoding

Ila Fiete, David J. Schwab+1 more|arXiv (Cornell University)|Jul 22, 2014

Neural Networks and Applications参考文献 14被引用数 5

ひとこと要約

本論文は、情報レート $1/\log(n)$ を達成する画期的なバイナリーホフリートネットワークを提案する。これは、従来の $1/\sqrt{n}$ の境界を著しく上回るものであり、グリッドセルコードのノイズ耐性のあるニューラルデコーダーを構築するために応用されている。ネットワークは、ラティスに基づくデコーディングアルゴリズムをバイナリーニューラル回路を介して実装し、微小な位相シフト下でも正確なリトリーブを可能にし、エラー訂正ニューラル計算のスケーラブルなソリューションを示している。

ABSTRACT

A Hopfield network is an auto-associative, distributive model of neural memory storage and retrieval. A form of error-correcting code, the Hopfield network can learn a set of patterns as stable points of the network dynamic, and retrieve them from noisy inputs -- thus Hopfield networks are their own decoders. Unlike in coding theory, where the information rate of a good code (in the Shannon sense) is finite but the cost of decoding does not play a role in the rate, the information rate of Hopfield networks trained with state-of-the-art learning algorithms is of the order ${\log(n)}/{n}$, a quantity that tends to zero asymptotically with $n$, the number of neurons in the network. For specially constructed networks, the best information rate currently achieved is of order ${1}/{\sqrt{n}}$. In this work, we design simple binary Hopfield networks that have asymptotically vanishing error rates at an information rate of ${1}/{\log(n)}$. These networks can be added as the decoders of any neural code with noisy neurons. As an example, we apply our network to a binary neural decoder of the grid cell code to attain information rate ${1}/{\log(n)}$.

研究の動機と目的

• 漸近的に消える復元誤り確率と情報レート $1/\log(n)$ を達成するバイナリーホフリートネットワークの設計。これは、従来の $1/\sqrt{n}$ の境界を上回る。
• ノイズのあるニューロン活動に対しても高い正確性を維持する離散グリッドセルコードのニューラルデコーダーの構築。
• ホフリートネットワークを、情報レートを保持したまま耐ノイズ性を向上させる、より広範なニューラルコーディングフレームワーク内に統合する。
• 提案されたネットワークが $O(N)$ 個のニューロンと逐次的更新を用いて実装可能であることを示し、実用的なニューラル実現を可能にする。

提案手法

• 2次元における最近傍ベクター問題を解くためのレンストラアルゴリズムをインspiredしたラティスに基づくデコーディングフレームワークを用いてネットワークを構築する。
• バイナリーニューラル回路を用いて、実数値の射影から最も近い整数を計算するバイナリーサーチ操作を実行し、効率的なラティス基底の短縮を可能にする。
• デコーダーは $N$ 個のニューロンから構成され、それぞれが $\phi_i(x) = x \mod \lambda_i$ を計算することで、グリッドコードからの残留情報の抽出を実行する。
• グリッドコードの位相ノイズ下での復元に不可欠な最短ベクタ基底問題と最近傍ベクタ問題を解くために、逐次的状態更新を実行する。
• 最終出力は、$T$ がグリッドコードパラメータから導かれる変換行列である線形変換 $ (y,z) = T^{-1}(\mathbf{p} + \mathbf{c}) $ によって得られる。
• 全システムは、グリッドコードにおける独立的かつ微小な位相シフトに対して耐性があり、ノイズ下でも正確な復元を保証する。

実験結果

リサーチクエスチョン

• RQ1 バイナリーホフリートネットワークは、漸近的に消える復元誤り確率と $1/\log(n)$ の情報レートを達成できるか？
• RQ2 ノイズ下でも有限の情報レートと正確な復元を維持できるグリッドセルコードのニューラルデコーダーを設計することは可能か？
• RQ3 $O(N)$ 個のニューロンを用いたバイナリーニューラルネットワークで、ラティスに基づくデコーディングアルゴリズムをどのように実装できるか？
• RQ4 ニューラルオートアソシエイティブメモリシステムにおいて、情報レートとノイズ耐性のトレードオフはどのようなものか？
• RQ5 ホフリートネットワークをプラグインデコーダーとして用いることで、任意のニューラルコードの耐性を向上させつつ、情報レートを劣化させないか？

主な発見

• 提案されたバイナリーホフリートネットワークは、$1/\log(n)$ の情報レートを達成し、誤り確率が漸近的に消える最初の結果である。
• ネットワークは、グリッド応答における独立的かつ微小な位相シフト下でも、離散グリッドセルコードの正確な復元が可能である。
• グリッドセルコードのニューラルデコーダーは、$O(N)$ 個のニューロンと逐次的状態更新を用いて構築されており、スケーラブルな実装が可能である。
• デコーディングプロセスは、バイナリーニューラルネットワークを用いて最近傍ベクタ問題を解くことに基づき、各ステップがバイナリーサーチ回路によって実装される。
• ニューロンがノイシーであっても、情報レートは有限のまま維持され、$n$ が増加するにつれて誤り確率はゼロに近づく。
• 提案されたフレームワークは、情報レートとノイズ耐性の両面で、従来のニューラルデコーダーを上回り、$1/\log(n)$ の新しいベンチマークを達成している。