[論文レビュー] Explaining V1 Properties with a Biologically Constrained Deep Learning Architecture

Galen Pogoncheff, Jacob Granley+1 more|arXiv (Cornell University)|May 18, 2023

Neural dynamics and brain function被引用数 5

ひとこと要約

この論文は、神経科学的知見に基づく要素——中心周辺対比、局所的受容 field、調整された正規化、皮質拡大——をResNet50バックボーンに統合することで、生物学的に制約けた深層学習アーキテクチャを提案する。これらのメカニズムを体系的に統合することで、脳スコアベンチマークで最先端の性能を達成し、V1全体、予測性、特性スコアの3分野で新記録を樹立した。

ABSTRACT

Convolutional neural networks (CNNs) have recently emerged as promising models of the ventral visual stream, despite their lack of biological specificity. While current state-of-the-art models of the primary visual cortex (V1) have surfaced from training with adversarial examples and extensively augmented data, these models are still unable to explain key neural properties observed in V1 that arise from biological circuitry. To address this gap, we systematically incorporated neuroscience-derived architectural components into CNNs to identify a set of mechanisms and architectures that comprehensively explain neural activity in V1. We show drastic improvements in model-V1 alignment driven by the integration of architectural components that simulate center-surround antagonism, local receptive fields, tuned normalization, and cortical magnification. Upon enhancing task-driven CNNs with a collection of these specialized components, we uncover models with latent representations that yield state-of-the-art explanation of V1 neural activity and tuning properties. Our results highlight an important advancement in the field of NeuroAI, as we systematically establish a set of architectural components that contribute to unprecedented explanation of V1. The neuroscience insights that could be gleaned from increasingly accurate in-silico models of the brain have the potential to greatly advance the fields of both neuroscience and artificial intelligence.

研究の動機と目的

• 現在のCNNが物体認識タスクで高い性能を示す一方で、primatesのV1の重要な神経的特性を説明できないというギャップを解消すること。
• モデルと脳の類似性を高める生物学的に妥当なアーキテクチャ的要素を特定・統合すること。
• 神経科学的インスピレーションを受ける各要素がV1表現の正確性に果たす寄与を体系的に評価すること。
• 従来の最先端モデルよりも包括的にV1のチューニング特性と神経活動を説明できる神経的制約けた深層学習モデルを開発すること。
• 神経科学に基づくアーキテクチャ設計が、データ拡張や adversarial training に依存するのみでなく、脳に整合する表現学習を顕著に向上させられることを示すこと。

提案手法

• 空間的に調整された畳み込みフィルタを用いて、中心周辺対比を模倣する新しいニューラルネットワークレイヤーを設計した。
• 空間的に制限された畳み込みを用いて局所的受容 field を統合し、皮質柱組織を模倣した。
• 局所的活動に基づいて神経応答のゲインを制御する調整された除法的正規化レイヤーを実装し、横方向抑制を模倣した。
• 入力画像を極座標変換することで皮質拡大を適用し、中心視野を高分解能領域にマッピングした。
• これらの要素を標準的なResNet50アーキテクチャに統合し、神経的制約けた深層ネットワークを構築した。
• モデルの最終訓練にはImageNetおよび adversarially 損傷を加えたImageNetデータを用い、頑健性と一般化性能を評価した。

Figure 1: Design patterns of neuro-constrained architectural components. A) Difference of Gaussian implements a center-surround receptive field. B) Local receptive fields of two neurons without weight sharing. C) Tuned divisive normalization inhibits each feature map by a Gaussian-weighted average o

実験結果

リサーチクエスチョン

• RQ1 どの生物学的インスピレーションを受けるアーキテクチャ的要素が、深層ニューラルネットワーク表現とサルのV1神経活動の整合性を最も顕著に向上させるか？
• RQ2 中心周辺対比と調整された正規化は、人工V1ニューロンにおける周辺調節とチューニング特性をどのようにモデル化するか？
• RQ3 他のアーキテクチャ的要素と比較して、皮質拡大はV1表現の正確性をどの程度向上させるか？
• RQ4 adversarial trainingは、中心周辺畳み込みのような特定のアーキテクチャ的要素が神経応答分散を説明する能力を強化するか？
• RQ5 複数の神経的制約けた要素を組み合わせることで、個々の要素よりも優れた脳モデル整合性が達成されるのか、それらの組み合わせは相乗効果をもたらすか？

主な発見

• 神経的制約けたResNet50モデルは、V1全体スコアで新記録を樹立し、前回のモデルを大きく上回った。
• モデルはV1全体スコア0.621、予測性スコア0.432、特性スコア0.842を達成し、それぞれ前回のSOTA（0.594、0.409、0.816）を顕著に上回った。
• 皮質拡大が最も影響力が大きく、画像認識精度がわずかに低下したものの、V1の整合性を顕著に向上させた。
• 中心周辺対比は、訓練データに依存する利点を示した：adversarially 損傷を加えたデータで学習した場合にのみ、周辺調節のチューニングが改善された。
• 調整された正規化は、唯一モデルの頑健性を向上させ、チューニング特性の整合性向上に貢献した。
• アブレーションスタディにより、複数の要素を組み合わせることで相乗効果が得られ、完全なモデルがいかなる単一要素の変種よりも優れた性能を示したことが確認された。

Figure 2: ResNet50 layer 1, supplemented with neuro-constrained architectural components. Throughout the the modified layer 1, primary visual cortex ( V1 )activity is modeled with cortical magnification, center-surround convolutions, tuned normalization, and local receptive field layers. Layer 1 out