[論文レビュー] Associative Memories via Predictive Coding

Tommaso Salvatori, Yuhang Song+6 more|PubMed|Sep 16, 2021

Neural dynamics and brain function参考文献 46被引用数 31

ひとこと要約

生成的予測符号化ネットワーク（PCN）を、データをアトラクターとして格納し、破損・部分的な入力から元データを取得する連想記憶として提案します。複雑なデータで自己符号化器（AE）や現代的ホップフィールドネットワークより性能が良く、マルチモーダル検索をサポートします。

ABSTRACT

Associative memories in the brain receive and store patterns of activity registered by the sensory neurons, and are able to retrieve them when necessary. Due to their importance in human intelligence, computational models of associative memories have been developed for several decades now. In this paper, we present a novel neural model for realizing associative memories, which is based on a hierarchical generative network that receives external stimuli via sensory neurons. It is trained using predictive coding, an error-based learning algorithm inspired by information processing in the cortex. To test the model's capabilities, we perform multiple retrieval experiments from both corrupted and incomplete data points. In an extensive comparison, we show that this new model outperforms in retrieval accuracy and robustness popular associative memory models, such as autoencoders trained via backpropagation, and modern Hopfield networks. In particular, in completing partial data points, our model achieves remarkable results on natural image datasets, such as ImageNet, with a surprisingly high accuracy, even when only a tiny fraction of pixels of the original images is presented. Our model provides a plausible framework to study learning and retrieval of memories in the brain, as it closely mimics the behavior of the hippocampus as a memory index and generative model.

研究の動機と目的

• 皮質予測に触発された生物学的に妥当な学習フレームワークを用いて、連想記憶を動機づけ、モデル化する。
• 生成的予測符号化ネットワークがデータ点をアトラクターとして格納し、破損した入力からの頑健な検索を可能にすることを示す。
• 自然画像に対して、誤差逆伝播で学習した自己符号化器や現代ホップフィールドネットワークより高い検索精度と頑健性を示す。
• 部分データからの再構成とマルチモーダル検索（キャプションから画像、画像からキャプション）を示す。

提案手法

• 感覚層、複数の隠れ層、およびメモリベクトルを備えた生成的予測符号化ネットワーク（PCN）を定義する。
• 推論学習（IL）を用いてPCNを訓練する。推論相（値ノードを更新してグローバルエネルギーEを最小化）と重み更新相（Eを更に最小化するように重みとメモリを更新）から成る。
• 予測を層間でμと誤差εとして表現し、局所的で生物学的に妥当な更新規則（Eベースの学習）を用いる。
• 感覚入力を訓練データに固定した場合、エネルギーの局所極小へ収束する推論によって訓練データ点をアトラクターとして格納する。
• 推論相のみを用いて保存データを検索する：入力を破損させる -> 推論を実行 -> 感覚予測を取得データとして読み取る。
• 画像再構成、容量、頑健性について、誤差逆伝播で訓練された自己符号化器（AEs）および現代的ホップフィールドネットワーク（MHNs）と比較する。

実験結果

リサーチクエスチョン

• RQ1 生成的予測符号化ネットワークはデータ点をアトラクターとして格納し、破損した入力からそれらを検索できるか。
• RQ2 PCNは、複雑なデータに対して自己符号化器や現代ホップフィールドネットワークより優れた検索精度と頑健性を提供するか。
• RQ3 PCNは不完全なデータを再構成し、マルチモーダル記憶タスク（例：画像-キャプション検索）を実行できるか。
• RQ4 より深い（層が多い）PCNは記憶容量と再構成品質を高めるか。
• RQ5 高次元の画像再構成タスクにおいて、PCNはMHNとDANNとどのように比較されるか。

主な発見

• 生成的PCNは訓練データ点をアトラクターとして格納し、破損した入力から元データを検索し、同サイズのAEより記憶容量・検索精度・頑健性で上回る。
• Tiny ImageNetおよびCIFAR-10では、画素の一部しか提供されていなくても高い精度で不完全データを再構成し、AEおよびMHNを上回る。
• より深いPCNは容量と再構成性能を向上させ、10層のPCNは部分入力から画像の大半を回復する。過 parametrized AEを上回る。
• PCNは異種連想記憶タスクを実行でき、テキスト記述から画像を、画像からテキスト記述を取得する。非常に小さな記述ベクター（例：25次元のキャプション入力）で3072ピクセルの画像を取得。
• 現代的ホップフィールドネットワークと比較して、PCNは厳密なアトラクターが少数である代わりに妥当な記憶を一貫して検索する。一方MHNは指数個の記憶を保存できるかもしれないが、複雑でノイズが多い、部分的な入力には苦労する。
• DANNと比較すると、PCNは部分的なCIFAR-10画像からの再構成をより鮮明にするが、DANNはより広い訓練を活用して全体的な容量が高い場合がある。