[論文レビュー] Hierarchical Associative Memory

Dmitry Krotov|arXiv (Cornell University)|Jul 14, 2021

Neural Networks and Applications参考文献 31被引用数 12

ひとこと要約

本稿では、任意の深さと混合接続性（密接接続および畳み込み型）を有する完全に再帰的で多層的な連想記憶モデル、階層的連想記憶（HAM）を紹介する。このモデルは、ラグランジュ力学を用いて全エネルギー関数を導出し、固定点アトラクターへの収束を保証する。これにより、生物学的妥当性とエンド・ツー・エンドの学習可能性を備えた、下位から上位への動的プロセスと上位から下位へのフィードバックを可能にする。

ABSTRACT

Dense Associative Memories or Modern Hopfield Networks have many appealing properties of associative memory. They can do pattern completion, store a large number of memories, and can be described using a recurrent neural network with a degree of biological plausibility and rich feedback between the neurons. At the same time, up until now all the models of this class have had only one hidden layer, and have only been formulated with densely connected network architectures, two aspects that hinder their machine learning applications. This paper tackles this gap and describes a fully recurrent model of associative memory with an arbitrary large number of layers, some of which can be locally connected (convolutional), and a corresponding energy function that decreases on the dynamical trajectory of the neurons' activations. The memories of the full network are dynamically "assembled" using primitives encoded in the synaptic weights of the lower layers, with the "assembling rules" encoded in the synaptic weights of the higher layers. In addition to the bottom-up propagation of information, typical of commonly used feedforward neural networks, the model described has rich top-down feedback from higher layers that help the lower-layer neurons to decide on their response to the input stimuli.

研究の動機と目的

• 機械学習における表現能力が限定的である既存のモダンホフリートネットワーク（Modern Hopfield Networks）は、単層で完全接続構造に限定されており、その制限を克服すること。
• 任意の深さと混合接続性（畳み込み層を含む）を有する多層的で再帰的な連想記憶モデルを構築し、より豊かなインダクティブバイアスをサポートすること。
• ラグランジュ力学を用いて導出されたリャプノフ関数を通じて、固定点アトラクターへの収束を保証するグローバルエネルギー関数を確立すること。
• 下位から上位への情報伝達と上位から下位へのフィードバックを両立させ、生物学的神経処理を模倣しながらも、数学的厳密性と生物学的妥当性を維持すること。
• 逆関数を必要としない活性化関数を前提としない一般化された形式を提供し、スキップ接続、横方向接続、ゲート付きユニットなどの新規アーキテクチャを可能にすること。

提案手法

• ニューロン固有の活性化関数と時間定数を有する完全接続型モダンホフリートネットワークの動的挙動を記述するため、ラグランジュ関数を用いて一般化されたエネルギー関数を導出する。
• ラグランジュ形式を階層的レイヤー構造のネットワークに拡張し、各レイヤーが同一の活性化関数と時間定数を持つようにすることで、モジュラーな記憶表現を可能にする。
• ラグランジュ関数の勾配に基づいて各レイヤーの明示的動的方程式を構築し、エネルギー関数が軌道に沿って単調に減少することを保証する。
• フィードバック重みがフィードフォワード重みの転置に等しいという条件を課すことにより、グローバルで下界があるエネルギー関数の存在を保証する。
• 上位レイヤーからのトップダウンフィードバックを可能にし、下位レイヤーに格納されたプリミティブからアトラクターを構築できるようにする。
• 通常のエネルギー関数導出において問題となる逆関数を必要とする活性化関数（例：ソフトマックス）を避けるために、直接的にラグランジュアプローチを用いる。

実験結果

リサーチクエスチョン

• RQ1 固定点アトラクターへの保証された収束とグローバルエネルギー関数を有する多層的で再帰的な連想記憶モデルを構築することは可能か？
• RQ2 上位レイヤーが下位レイヤーに格納されたプリミティブの「構築ルール」を符号化する階層的記憶構築はどのように達成できるか？
• RQ3 エネルギーに基づく収束性と生物学的妥当性を維持しつつ、密接接続と畳み込み型の混合接続性をサポートできるか？
• RQ4 特にトランスフォーマーのような現代的アーキテクチャにおいて、エネルギー関数の導出に逆関数を必要としないことは可能か？
• RQ5 トップダウンフィードバックの導入が、深層連想ネットワークにおけるパターン補完と記憶の再構築をどのように向上させるか？

主な発見

• 提案された階層的連想記憶（HAM）モデルは、任意の深さと混合接続性（畳み込み層を含む）をサポートし、モダンホフリートネットワークの適用範囲を拡張する。
• エネルギー関数が動的軌道に沿って単調に減少するため、固定点アトラクターへの収束が保証される。
• ラグランジュ力学を用いてエネルギー関数を導出することで、ソフトマックスや対照正規化を用いるモデルにおいて特に重要な逆関数を必要としない。
• 上位レイヤーの「構築ルール」を用いて、下位レイヤーのプリミティブから動的にアトラクター状態が構築され、モジュラーで再利用可能な記憶表現が可能になる。
• 下位から上位への情報伝達と上位から下位へのフィードバックの両方をサポートし、標準的なフィードフォワードネットワークよりも豊かな動的挙動を実現する。
• スキップ接続、横方向接続、ゲート付きユニットを含む新しいアーキテクチャの設計を可能にし、エネルギーに基づく収束性を維持する。