[論文レビュー] Meaningful representations emerge from Sparse Deep Predictive Coding

Victor Boutin, Angelo Franciosini+2 more|arXiv (Cornell University)|Feb 20, 2019

Neural dynamics and brain function参考文献 17被引用数 2

ひとこと要約

本稿では、初期視覚におけるフィードバックの神経的および表象的説明を統合するため、スパースコーディングと予測コーディングを組み合わせた階層的畳み込みモデルであるスパースディープ予測コーディング（SDPC）を提案する。フィードバック接続が神経的相互作用を再編成し、輪郭統合を支援し、画像再構成におけるノイズ耐性を向上させることを示している。

ABSTRACT

Both neurophysiological and psychophysical experiments have pointed out the crucial role of recurrent and feedback connections to process context-dependent information in the early visual cortex. While numerous models have accounted for feedback effects at either neural or representational level, none of them were able to bind those two levels of analysis. Is it possible to describe feedback effects at both levels using the same model? We answer this question by combining Predictive Coding (PC) and Sparse Coding (SC) into a hierarchical and convolutional framework. In this Sparse Deep Predictive Coding (SDPC) model, the SC component models the internal recurrent processing within each layer, and the PC component describes the interactions between layers using feedforward and feedback connections. Here, we train a 2-layered SDPC on two different databases of images, and we interpret it as a model of the early visual system (V1 & V2). We first demonstrate that once the training has converged, SDPC exhibits oriented and localized receptive fields in V1 and more complex features in V2. Second, we analyze the effects of feedback on the neural organization beyond the classical receptive field of V1 neurons using interaction maps. These maps are similar to association fields and reflect the Gestalt principle of good continuation. We demonstrate that feedback signals reorganize interaction maps and modulate neural activity to promote contour integration. Third, we demonstrate at the representational level that the SDPC feedback connections are able to overcome noise in input images. Therefore, the SDPC captures the association field principle at the neural level which results in better disambiguation of blurred images at the representational level.

研究の動機と目的

• 初期視覚皮質における神経レベルのフィードバック機構と表象レベルの文脈処理の間のギャップを埋める。
• 同じフレームワークを用いて神経組織と表象的耐性の両方を説明する統合モデルを開発する。
• フィードバック接続が古典的受容 field を超えて神経的相互作用に与える影響を調査する。
• フィードバックがノイズ混じりまたはぼやけた視覚入力の解釈を表象レベルでどのように向上させるかを評価する。

提案手法

• モデルは、各層内の内部再帰的処理にスパースコーディング（SC）を統合し、層間の前向きおよびフィードバック接続に予測コーディング（PC）を統合する。
• 2層構造のSDPCアーキテクチャを画像データベースで学習させ、V1およびV2皮質領域を模倣する。
• 層内の再帰的処理はスパースコーディングによりモデル化され、局所的かつ方向に特化した受容 field を強制する。
• フィードバック接続は予測コーディングにより実装され、上位層からのフィードバックによる下位層の活動の変調を可能にする。
• 古典的受容 field を超える神経的結合を分析するために、相互作用マップを計算する。
• ぼやけた画像に対する再構成性能をテストすることで、入力ノイズに対するモデルの耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 1つのモデルが初期視覚における神経的および表象的レベルのフィードバック効果を同時に説明できるか？
• RQ2 フィードバック接続は、古典的受容 field を超えて神経的相互作用をどのように再編成するか？
• RQ3 フィードバック信号は、相互作用マップに反映されるように、輪郭統合をどの程度促進するか？
• RQ4 フィードバック接続は、表象レベルでノイズ混じりまたはぼやけた画像の解釈をどの程度向上させるか？

主な発見

• 学習後、SDPCモデルはV1で方向性があり局所的な受容 field を獲得し、V2でより複雑な特徴を抽出しており、神経生理学的観察と整合的である。
• フィードバック接続により、相互作用マップが関連領域に類似した構造をとるよう再編成され、グッズトールの「良い継続性」の原則を支持する。
• 神経活動はフィードバックによって変調され、相互作用マップの空間的構造から輪郭統合が強化されていることが示された。
• 表象レベルでは、フィードバック接続がぼやけたまたはノイズ混じりの入力画像の再構成能力を顕著に向上させた。
• SDPCフレームワークは、神経レベルのフィードバック組織と表象レベルのノイズ耐性を効果的に統合した。