[論文レビュー] Large Associative Memory Problem in Neurobiology and Machine Learning

Dmitry Krotov, J. J. Hopfield|arXiv (Cornell University)|Aug 16, 2020

Machine Learning in Bioinformatics参考文献 33被引用数 56

ひとこと要約

本論文は、生物学的に妥当な2体制の（特徴-記憶）ニューラルネットワークを、隠れニューロンを伴い大規模な連想記憶容量を達成する方法として提示し、エネルギーに基づくダイナミクスを介してDense Associative Memoryと現代のHopfieldネットワークを統合する。

ABSTRACT

Dense Associative Memories or modern Hopfield networks permit storage and reliable retrieval of an exponentially large (in the dimension of feature space) number of memories. At the same time, their naive implementation is non-biological, since it seemingly requires the existence of many-body synaptic junctions between the neurons. We show that these models are effective descriptions of a more microscopic (written in terms of biological degrees of freedom) theory that has additional (hidden) neurons and only requires two-body interactions between them. For this reason our proposed microscopic theory is a valid model of large associative memory with a degree of biological plausibility. The dynamics of our network and its reduced dimensional equivalent both minimize energy (Lyapunov) functions. When certain dynamical variables (hidden neurons) are integrated out from our microscopic theory, one can recover many of the models that were previously discussed in the literature, e.g. the model presented in "Hopfield Networks is All You Need" paper. We also provide an alternative derivation of the energy function and the update rule proposed in the aforementioned paper and clarify the relationships between various models of this class.

研究の動機と目的

• 生物学とAIにおける大容量の連想記憶の必要性を動機づける。
• エネルギー関数を保持する微視的な2群（特徴と隠れ層）ネットワークを提案する。
• 隠れニューロンを統合して除去することで、既知の Dense Associative Memory（DAM）および現代の Hopfield モデルが回復されることを示す。
• 提案されたフレームワークがいくつかのリミットケース（Models A、B、C）を包含することを示す。
• ダイナミクスに沿ってエネルギーが減少する条件を確立し、固定点への収束を保証する。

提案手法

• Nf の特徴ニューロンと Nh の隠れニューロンを持つ、双部結合（二部）接続を持つ連続時間ネットワークを導入する。
• 対称重み xi_{i mu} によって v_i と h_mu を結合する式（式(1)）を用いたダイナミクスを定義し、Lyapunovエネルギー(2)を保証する。
• 出力をラグランジアン関数の導関数として表現する（f_mu = ∂L_h/∂h_mu, g_i = ∂L_v/∂v_i）、エネルギー減少を保証する(4)。
• 特定の極限で隠れニューロンを取り除くことで特徴層の有効モデルを導出する（セクション3.1–3.3）。
• Model A は Dense Associative Memory（DAM）および Hopfield の極限を回復することを示す；Model B は現代の Hopfield/注意機構に類似したダイナミクスを生み出す；Model C は球面メモリの変種を生む。
• 更新規則とエネルギー形の明示的な導出（式(8)–(22)）を提供し、注意機構（例：softmax ベースの相互作用）に関連づける。

実験結果

リサーチクエスチョン

• RQ1 隠れニューロンを伴う2体シナプス構造が、特徴空間の次元数 N_f を超える記憶容量を達成できるか？
• RQ2 隠れニューロンを取り除く（統合）ことが、既存の Dense/modern Hopfield モデルおよび注意様相のダイナミクスをどのように回復するか？
• RQ3 提案フレームワークのリミットケース（Models A, B, C）とは何か、そしてそれらは既知のネットワークとどう関連するか？
• RQ4 ネットワークエネルギーが減少する条件は何か、固定点への収束を保証するために？
• RQ5 多体シナプスを回避しつつ大規模な記憶容量を維持することによって得られる生物学的妥当性の利点は何か？

主な発見

• 二体相互作用と隠れニューロンを備えた生物学的に妥当なアーキテクチャは、N_f を超える記憶容量を達成し、Nh によって上限づけられる（N_mem ≤ Nh）。
• 高速な隠れ動力学と加法的ラグランジアンを持つ Model A では、エネルギーが Dense Associative Memory（DAM）形式に縮退し、Hopfield ネットワークを一般化する。
• Model B は対照正規化を伴い、現代の Hopfield/注意機構に類似したエネルギーと更新規則を生み出し、連続時間におけるドット積注意に相当する。
• Model C は、除数正規化似の特徴を持つ球面メモリの変種を導入し、二体相互作用を維持しつつ異なるエネルギーとダイナミクスを生む。
• このフレームワークは、単一のエネルギーベースのダイナミクス系の極限ケースとして、以前のモデル（DAM、現代の Hopfield、注意機構）を統合する。
• エネルギーはラグランジアンのヘッセ行列が半正定である場合に軌道に沿って減少し、固定点への収束を保証する。