[論文レビュー] Correspondence of Deep Neural Networks and the Brain for Visual Textures

Nasir Uddin Laskar, Luis G. Sánchez Giraldo+1 more|arXiv (Cornell University)|Jun 7, 2018

Neural dynamics and brain function参考文献 41被引用数 15

ひとこと要約

この論文は、視覚的テクスチャの処理において、深層畳み込みニューラルネットワーク（CNN）と霊長目視覚皮質の対応関係に焦点を当て、V1からV2への移行を調査している。新規のユニット選択および重み付き平均化手法を用いて、事前学習済みCNNの最初の2層—特に除法正規化のような非線形処理を含むもの—が、テクスチャに対するV2神経応答と最もよく一致することを示しており、神経生理学的データと強い定量的・定性的整合性を示している。

ABSTRACT

Deep convolutional neural networks (CNNs) trained on objects and scenes have shown intriguing ability to predict some response properties of visual cortical neurons. However, the factors and computations that give rise to such ability, and the role of intermediate processing stages in explaining changes that develop across areas of the cortical hierarchy, are poorly understood. We focused on the sensitivity to textures as a paradigmatic example, since recent neurophysiology experiments provide rich data pointing to texture sensitivity in secondary but not primary visual cortex. We developed a quantitative approach for selecting a subset of the neural unit population from the CNN that best describes the brain neural recordings. We found that the first two layers of the CNN showed qualitative and quantitative correspondence to the cortical data across a number of metrics. This compatibility was reduced for the architecture alone rather than the learned weights, for some other related hierarchical models, and only mildly in the absence of a nonlinear computation akin to local divisive normalization. Our results show that the CNN class of model is effective for capturing changes that develop across early areas of cortex, and has the potential to facilitate understanding of the computations that give rise to hierarchical processing in the brain.

研究の動機と目的

• 深層CNN内の計算が、特にテクスチャ感受性に対して、初期視覚皮質の神経応答と対応する仕組みを理解すること。
• 学習された重みかネットワークアーキテクチャそのものが、皮質データとの対応関係を決定づけるかを特定すること。
• CNN内の階層的処理が、脳におけるV1からV2へのテクスチャ選択性の出現をどの程度模倣しているかを定量的に評価すること。
• 局所的除法正規化のような非線形処理の役割が、この対応関係を可能にするかを評価すること。
• V2で記録された神経集団と最もよく一致するCNNユニットのサブセットを体系的に選択する手法を開発すること。

提案手法

• 予測された平均変調インデックスとV2神経記録の平均変調インデックスとの一致を最適化するために、重み付き最小二乗法が用いられている。
• 正則化された最適化（式5）が適用され、選択されたユニット間で等価な重みが得られるように促進され、解釈可能性とサブセット選択の質が向上している。
• 正則化後の推定重みに基づき、2段階の手順で上位103個のCNNユニットが選択され、スパースで代表的なサブセットが保証されている。
• モデルの頑健性を検証するため、拡張された画像データセットを用いて225回のleave-one-out交差検証が実施されている。
• 予測された変調インデックスと測定された変調インデックスとの間のユークリッド距離が、モデルと脳の対応関係を定量化する主な指標として用いられている。
• 非線形性が欠落している、または異なる学習方針を用いたアーキテクチャやバリエーションと比較して、モデルの性能を評価している。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNの最初の2層が、V1では観察されないがV2では観察されるテクスチャ選択性の出現をどの程度再現できるか？
• RQ2 CNNアーキテクチャのどの要素—学習された重み、アーキテクチャそのもの、または非線形処理—が皮質データとの対応関係を実現するために不可欠か？
• RQ3 局所的除法正規化の導入が、モデルのV2応答予測能力にどのように影響するか？
• RQ4 V2の実際の神経集団の応答プロファイルと定量的に一致するCNNユニットのサブセットを特定できるか？
• RQ5 異なる画像サブセットや学習条件において、モデルの神経生理学的データへの適合度はどの程度頑健か？

主な発見

• CNNの最初の2層は、特にテクスチャ選択性の発現において、V2神経応答と強い定性的・定量的整合性を示している。
• 学習された重みなしにアーキテクチャのみを用いた場合、モデルの皮質データとの対応関係は顕著に低下しており、教師あり学習が不可欠であることが示唆されている。
• 局所的除法正規化に類似した非線形計算が存在することは不可欠であり、これを除去するとモデルの性能が著しく低下する。
• λ = 0.8の正則化を用いたサブセット選択法により、V2データと密接に一致する103個の代表的CNNユニットが適切に同定されており、選択されたユニットの40％が2e⁻³以上の重みを持つ。
• 交差検証の結果、異なる画像サブセットにおいて一貫した適合度が得られ、予測誤差も低く、モデルの頑健性が確認された。
• CNNの予測とV2データとのユークリッド距離が第2層で最小化され、L2で最も強い対応関係が確認されており、V1からV2への移行と整合的である。