[論文レビュー] Approximate Hubel-Wiesel Modules and the Data Structures of Neural Computation

Joel Z. Leibo, Julien Cornebise+2 more|arXiv (Cornell University)|Dec 28, 2015

Neural dynamics and brain function参考文献 3被引用数 4

ひとこと要約

本稿は、腹側視覚ストリームと海馬を、近似的な関連記憶という同一の下位データ構造の近似として結びつける統一的アルゴリズムフレームワークを提案する。Hubel-Wieselにインspiredされたモジュールを導入し、階層的特徴抽象化を通じて不変表現を学習する。海馬では高速学習、新皮質では低速学習を実現することで、頑健な不変性と容量制限付きの記憶想起を可能にする。

ABSTRACT

This paper describes a framework for modeling the interface between perception and memory on the algorithmic level of analysis. It is consistent with phenomena associated with many different brain regions. These include view-dependence (and invariance) effects in visual psychophysics and inferotemporal cortex physiology, as well as episodic memory recall interference effects associated with the medial temporal lobe. The perspective developed here relies on a novel interpretation of Hubel and Wiesel's conjecture for how receptive fields tuned to complex objects, and invariant to details, could be achieved. It complements existing accounts of two-speed learning systems in neocortex and hippocampus (e.g., McClelland et al. 1995) while significantly expanding their scope to encompass a unified view of the entire pathway from V1 to hippocampus.

研究の動機と目的

• 視覚（腹側ストリーム）と記憶（海馬）の間の計算的隔たりを、両者のアルゴリズム的機能を統一することで埋める。
• 既存のモデルが抽象的入力を用いるという制限を克服し、生物学的に妥当な知覚表現に根ざした記憶モデルを提示する。
• 同じコアデータ構造の近似から生じる異なる学習速度（海馬では高速、新皮質では低速）がどのように生じるかを説明する。
• 階層的関連モジュールを用いた生物学的に妥当なメカニズムを提供し、不変オブジェクト認識とエピソード記憶を実現する。
• 共通の計算フレームワークを通じて、フィードフォワード型の視覚モデルと海馬の機能（リプレイや統合）を調和させる。

提案手法

• 各レベルが類似する入力特徴を高階層の表現にグループ化するように学習する、関連モジュールの階層的アーキテクチャを提案。Hubel-Wieselの受容野にインspiredされたもの。
• 局所性に敏感なハッシュ（LSH）を用いた近似的な最近傍探索により、単純細胞から複雑細胞に至る表現への移行をモデル化。これにより、入力の変動に対する不変性が実現される。
• 同一のデータ構造の2つの異なる近似を導入：海馬向けに高速かつ高容量の学習を最適化したものと、新皮質向けに低速で安定した学習を最適化したもの。
• フィードフォワードで再帰的でないモデルを用い、V1（100–200ms）からMTL（200–500ms）へと神経選択性の遅延が増加する現象を説明。生理的データと整合的である。
• 回転、遮蔽、背景の変動に対する不変性を評価する認識タスクにおいて、しきい値付きのコサイン類似度を分類器として採用。
• 教師なし学習を活用し、明示的な誤差信号なしに腹側ストリームが不変特徴を学習することをモデル化。ただし、上位からのフィードバック効果のモデル化には限界があることを認識。

実験結果

リサーチクエスチョン

• RQ1 視覚認識と記憶を、不変表現学習とエピソード的想起の両方を説明できる単一のアルゴリズムフレームワークで統一するにはどうすればよいか？
• RQ2 生物学的に妥当なメカニズムとして、入力の変動（例：回転、遮蔽）に対して不変性を達成しつつ、記憶容量を維持できる仕組みは何か？
• RQ3 海馬と新皮質といった異なる脳領域が異なる学習速度を示すのはなぜか？ これは同一のコアデータ構造の近似からどのように説明できるか？
• RQ4 フィードフォワードモデルは、短時間の刺激提示で観察されるMTLの神経選択性の遅延や行動的効果をどの程度説明できるか？
• RQ5 腹側ストリームからの知覚表現は、内側側頭葉におけるエピソード記憶モデルにどのように制約を加え、改善をもたらすか？

主な発見

• 近似的な関連記憶を用いた階層的特徴抽象化のモデル化により、視覚心理学的実験とinferotemporal皮質の生理的特性における視点依存性と不変性効果を説明できる。
• LSHに基づく近似により、入力ベクトルと保存済み例示との類似度計算が効率的に行える。複雑細胞の受容野を近似的な関連マップとしてモデル化できる。
• 特徴圧縮による皮質側索の容量制限と、LSHの誤検出率による海馬の容量制限を統合し、生物学的制約と計算的トレードオフを結びつける。
• SUFRベンチマークにおけるシミュレーションでは、ヨー回転、自然な背景、遮蔽の下でも頑健な性能を示し、しきい値付きコサイン類似度が訓練セットで最適化された正確性を達成する。
• 神経選択性の遅延は、V1（100–200ms）からMTL（200–500ms）へと増加し、再帰的ループがなくてもフィードフォワード統合時間とマルチステージ処理に一致する。
• 海馬のリプレイは、報酬や顕著なエピソードに偏った新皮質の学習を促進し、環境の統計に依存せず、目的指向の表現学習を可能にする。