[論文レビュー] AHA! an 'Artificial Hippocampal Algorithm' for Episodic Machine Learning

Gideon Kowadlo, Abdelrahman Ahmed+1 more|arXiv (Cornell University)|Sep 23, 2019

Domain Adaptation and Few-Shot Learning参考文献 63被引用数 8

ひとこと要約

AHA は、外部ラベルやグローバルな誤差逆伝播なしに、1回の試行でエピソード学習を可能にする生物学的にインspiredな機械学習モデルである。局所的学習ルールを用いて、視覚的エピソードの記憶、分離、補完、分類を実現し、深層学習モデルと同等の分類精度を達成しながら、インスタンスレベルの推論を可能にし、ノイズや遮蔽に対しても頑健である。

ABSTRACT

The majority of ML research concerns slow, statistical learning of i.i.d. samples from large, labelled datasets. Animals do not learn this way. An enviable characteristic of animal learning is `episodic' learning - the ability to memorise a specific experience as a composition of existing concepts, after just one experience, without provided labels. The new knowledge can then be used to distinguish between similar experiences, to generalise between classes, and to selectively consolidate to long-term memory. The Hippocampus is known to be vital to these abilities. AHA is a biologically-plausible computational model of the Hippocampus. Unlike most machine learning models, AHA is trained without external labels and uses only local credit assignment. We demonstrate AHA in a superset of the Omniglot one-shot classification benchmark. The extended benchmark covers a wider range of known hippocampal functions by testing pattern separation, completion, and recall of original input. These functions are all performed within a single configuration of the computational model. Despite these constraints, image classification results are comparable to conventional deep convolutional ANNs.

研究の動機と目的

• 海馬形成の生物学的に妥当な計算モデルを開発し、1回の試行による学習、パターン分離、パターン補完といったエピソード学習の主要機能を再現すること。
• バックプロパゲーションや大規模なラベル付きデータセットを必要とせず、局所的信用割り当てのみでラベルなしで高速に学習を可能にする。
• 統一されたモデルが、記憶、一般化、選択的再考といった複数の海馬機能を、1つのアーキテクチャ内で果たせることを示すこと。
• 標準的な1回の試行学習ベンチマークを拡張し、インスタンスレベル分類と画像劣化への耐性を導入することで、実世界への適用可能性を検証すること。
• このようなシステムが従来の深層学習モデルとどのように統合され、サンプル効率や継続的学習を向上させられるかを検討すること。

提案手法

• AHA は、海馬のサブフィールドを模倣した階層的アーキテクチャを採用している：CA3（自己相関記憶）、CA1（パターン分離と補完）、DG（スパースコーディングによるパターン分離）。
• 局所的学習ルールを用いる——具体的には、CA3で変更されたホプフィールドネットワークを用いて関連想起を実現し、DGでヘブ補正に類似したルールを用いてスパースコーディングを実現——これにより、バックプロパゲーションを必要とせず信用割り当てを可能にする。
• モデルは、エッジや形状などのプリミティブを用いて、視覚入力を分散的かつ構成的表現に変換することで、異なる詳細レベルでの柔軟な抽象化と一般化を可能にする。
• パターン分離は、歯状回（DG）におけるスパースコーディングによって実現され、CA1は直交化された表現を用いてパターン補完と分離を実行する。
• 再構成出力を元の入力空間に戻すことで、象徴的表現を生成し、解釈可能性を高めるとともに、長期記憶への統合を可能にする。
• モデルは、入力の構造と局所的シナプス更新のみを用いて、ラベルなしでエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 生物学的に妥当で、ラベルなしの機械学習モデルが、1回の試行による学習、パターン分離、パターン補完といった核心的な海馬機能を再現できるか？
• RQ2 局所的学習ルールのみで、バックプロパゲーションやグローバル誤差信号なしに、頑健なエピソード記憶の形成と再考を可能にするか？
• RQ3 統一されたモデルが、1回の試行分類と1回の試行インスタンス分類の両方をどれだけ柔軟に果たせるか、動物の認知の柔軟性を反映しているか？
• RQ4 モデルは入力の劣化（例：ノイズ、遮蔽）に対してどれほど性能を維持できるか。また、元の入力を再構成して長期記憶への統合が可能か？
• RQ5 このようなシステムが従来の深層学習モデルと統合され、サンプル効率と継続的学習を向上させられるか？

主な発見

• AHA は、外部ラベルを一切使用せずに、拡張された Omniglot ベンチマークにおいて、最先端の深層学習モデルと同等の1回の試行分類精度を達成した。
• モデルは、同じ設定でパターン分離と補完を成功させ、海馬サブフィールド間の機能統合を実証した。
• AHA は、部分的または劣化したバージョンからの元の入力画像を正確に再構成でき、長期記憶への統合の可能性を示した。
• ノイズや遮蔽に対しても、モデルは頑健な性能を維持しており、入力の変動性に対する耐性があることが示された。
• AHA は、特定のインスタンス（例：出生マークのある特定のキリン）を識別すると同時に、クラス間で一般化でき、エピソード記憶と意味記憶の両方の能力を反映している。
• AHA が生成する象徴的表現は、感覚的入力に戻すことができるため、解釈可能性を高め、後続のモデルとの統合を可能にする。