[論文レビュー] Recurrence required to capture the dynamic computations of the human ventral visual stream.

Tim C. Kietzmann, Courtney J. Spoerer+4 more|arXiv (Cornell University)|Mar 14, 2019

Neural dynamics and brain function参考文献 38被引用数 18

ひとこと要約

本研究では、再帰的ニューラルネットワークモデルが、人間の腹側視覚ストリームにおける動的で双方向の表現変換を捉えるために不可欠であることを示している。時間分解能 fMRI とディープラーニングを用いて、著者らは皮質表現が前方および逆方向の両方で急速に変化することを示し、再帰的モデルが多領域神経動態を再現する際、フィードフォワードアーキテクチャーよりも顕著に優れていることを明らかにした。

ABSTRACT

The visual system is an intricate network of brain regions that enables us to recognize the world around us. Despite its abundant lateral and feedback connections, human object processing is commonly viewed and studied as a feedforward process. Here, we measure and model the rapid representational dynamics across multiple stages of the human ventral stream using time-resolved brain imaging and deep learning. We observe substantial representational transformations during the first 300 ms of processing within and across ventral-stream regions. Categorical divisions emerge in sequence, cascading forward and in reverse across regions, and Granger causality analysis suggests bidirectional information flow between regions. Finally, recurrent deep neural network models clearly outperform feedforward models in terms of their ability to jointly capture the multi-region cortical dynamics. These results establish that recurrent models are required to understand information processing in the human ventral stream.

研究の動機と目的

• フィードフォワード型か再帰的ニューラルネットワークアーキテクチャのどちらが、人間の腹側視覚ストリームにおける動的表現変化をよりよく捉えられるかを調査すること。
• 処理開始後300 ms以内に、腹側ストリームの複数の段階におけるオブジェクト表現の時間的発展を理解すること。
• Granger因果性解析を用いて、腹側ストリーム領域間の情報フローの方向性と因果関係を検討すること。
• 人間の脳画像で観察された多領域神経動態をモデル化するために、再帰的接続が必要かどうかを特定すること。

提案手法

• オブジェクト認識中に、人間の腹側ストリームの複数領域における神経活動を測定するために、時間分解能 fMRI が用いられた。
• 視覚刺激からの皮質活動パターンを予測するために、フィードフォワード型および再帰的アーキテクチャを含む深層ニューラルネットワークモデルが訓練された。
• 時間的および脳領域ごとの神経表現の動的変換を追跡するために、表現類似性解析（RSA）が適用された。
• 腹側ストリーム領域間の方向性のある情報フローを推定するために、Granger因果性解析が用いられ、双方向的影響が特定された。
• フィードフォワード型と再帰的モデルの両方が、多領域神経動態をどれほどよく予測できるかを比較することで、モデルの性能を評価した。
• 時間経過に伴う神経表現におけるカテゴリー的区分の出現と伝播を分析した。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト認識の過程で、人間の腹側ストリームにおける神経表現は、時間的および領域的要因によってどのように動的に変化するか？
• RQ2 腹側ストリーム領域間の情報フローは、前方、後方、または双方向のいずれの方向性を示すか？
• RQ3 再帰的ニューラルネットワークモデルが、観察された多領域皮質動態を捉える際に、フィードフォワードモデルをどの程度上回るか？
• RQ4 オブジェクト表現におけるカテゴリー的区別の出現は、腹側ストリーム階層全体でいつ発生するか？
• RQ5 人間の腹側視覚ストリームにおける表現的動態の完全な複雑性をモデル化するために、再帰的結合が必要か？

主な発見

• 視覚処理開始後300 ms以内に、腹側ストリーム領域内および領域間で顕著な表現的変換が発生する。
• 神経表現におけるカテゴリー的区分は、前方および後方の両方向へと段階的に進行する連鎖的シーケンスで出現する。
• Granger因果性解析により、腹側ストリーム領域間で顕著な双方向的情報フローが確認され、純粋なフィードフォワード的ビューに疑問を呈する。
• 再帰的ディープニューラルネットワークモデルは、皮質活動の多領域動態を捉える際に、フィードフォワードモデルを顕著に上回る。
• 結果から、人間の腹側視覚ストリームの動的計算を正確にモデル化するには再帰的メカニズムが必要であることが示された。
• 神経表現は非単調的かつ再帰的な方法で進化し、フィードバックおよび横方向相互作用がオブジェクト表現の形成において重要な役割を果たしている。