[論文レビュー] Fundamental principles of cortical computation: unsupervised learning with prediction, compression and feedback

Micah Richert, Dimitry Fisher+3 more|arXiv (Cornell University)|Aug 19, 2016

Neural dynamics and brain function参考文献 46被引用数 5

ひとこと要約

この論文は、予測、圧縮、フィードバック機構を通じて教師なし学習を実装する、霊長類の視覚皮質を生物学的に模倣したモデルを提案する。フィードフォワード、ラテラル、再帰的接続を持つ階層的皮質領域を用い、予測符号化と情報圧縮を通じて分離可能なオブジェクト表現を学習することにより、最先端の視覚追跡と正確な分類を達成する。

ABSTRACT

There has been great progress in understanding of anatomical and functional microcircuitry of the primate cortex. However, the fundamental principles of cortical computation - the principles that allow the visual cortex to bind retinal spikes into representations of objects, scenes and scenarios - have so far remained elusive. In an attempt to come closer to understanding the fundamental principles of cortical computation, here we present a functional, phenomenological model of the primate visual cortex. The core part of the model describes four hierarchical cortical areas with feedforward, lateral, and recurrent connections. The three main principles implemented in the model are information compression, unsupervised learning by prediction, and use of lateral and top-down context. We show that the model reproduces key aspects of the primate ventral stream of visual processing including Simple and Complex cells in V1, increasingly complicated feature encoding, and increased separability of object representations in higher cortical areas. The model learns representations of the visual environment that allow for accurate classification and state-of-the-art visual tracking performance on novel objects.

研究の動機と目的

• 視覚皮質が網膜入力を統合的で一貫性のあるオブジェクトおよびシーン表現にまとめる仕組みを解明すること。
• ラベルなしデータの下で階層的皮質回路がどのように教師なし学習を支援するかという理解の欠落を埋める。
• 霊長類の腹側ストリームを機能的で現象論的なモデルとして構築し、主要な神経生理学的および行動的特性を再現すること。
• 予測、圧縮、フィードバック機構がどのように統合的に、強固な視覚表現学習を可能にするかを調査すること。
• 教師なし事前学習なしに、オブジェクト分類および視覚追跡において高い性能を達成できるかどうかを実証すること。

提案手法

• フィードフォワード、ラテラル、再帰的接続を持つ4つの階層的皮質領域（V1から高階層領域まで）を実装し、皮質マイクロサーキュイトを模倣する。
• 予測符号化の原則を採用し、上位領域が下位レベルの活動を予測し、予測誤差をフィードバックによって最小化する。
• 感覚入力を疎で効率的な表現に符号化することで情報圧縮を達成し、冗長性を低減しながらも判別特徴を保持する。
• 教師なし学習は、時間経過に伴う予測誤差の最小化によって駆動され、ラベルなしデータのもとで特徴検出器が自己組織化する。
• ラテラルおよび上位からのフィードバック接続が文脈的モodulationを提供し、高階層領域における特徴選択性と表現の分離性を向上させる。
• 生体に妥当な学習ルール（誤差駆動型シナプス可塑性）を用い、生体での皮質ダイナミクスと整合する。

実験結果

リサーチクエスチョン

• RQ1 皮質回路における教師なし学習が、階層的で次第に複雑化する特徴表現をどのように生み出すのか。
• RQ2 予測、圧縮、フィードバックが、効率的で強健な視覚表現学習をどのように可能にするのか。
• RQ3 これらの原則に基づくモデルが、V1における単純・複合細胞応答といった主要な神経生理学的現象を再現できるか。
• RQ4 このようなモデルが、ラベルなしデータのもとで視覚追跡および分類においてどれほど最先端の性能を達成できるか。
• RQ5 ラテラルおよび上位からの接続が、高階層皮質領域におけるオブジェクト表現の分離性をどのように向上させるか。

主な発見

• モデルは、方向選択性および空間周波数選択性を含む、V1における単純・複合細胞の応答特性を成功裏に再現した。
• 特徴表現は階層が上行するにつれて次第に複雑化し、選択性が高まり、霊長類の腹側ストリームで観察される進行と一致する。
• 高階層皮質領域におけるオブジェクト表現は分離性が向上し、新規オブジェクトの正確な分類が可能になった。
• モデルは、外観の変化に強く、新規オブジェクトにおいて最先端の視覚追跡性能を達成した。
• 予測、圧縮、フィードバックの統合により、教師なしで不変表現の効率的学習が可能になった。
• ラテラルおよび上位からのフィードバックは、表現品質の向上と特徴符号化の曖昧性低減に顕著な寄与を示した。