[論文レビュー] A rotation-equivariant convolutional neural network model of primary visual cortex

Alexander S. Ecker, Fabian H. Sinz+8 more|arXiv (Cornell University)|Sep 27, 2018

Neural dynamics and brain function被引用数 13

ひとこと要約

本論文は、自然画像に対するマウス一次視覚皮質（V1）応答をモデル化する回転等長性畳み込みニューラルネットワーク（CNN）を導入し、方向性に依存しない神経計算特徴の同定を可能にした。このモデルは標準CNNを上回り、V1ニューロンがGaborフィルターバンクモデルとは異なる、非Gabor型の特徴（例：非対称な中心-周囲パターン）を抽出することを示し、古典的なV1のGaborフィルターモデルに疑問を呈する。

ABSTRACT

Classical models describe primary visual cortex (V1) as a filter bank of orientation-selective linear-nonlinear (LN) or energy models, but these models fail to predict neural responses to natural stimuli accurately. Recent work shows that models based on convolutional neural networks (CNNs) lead to much more accurate predictions, but it remains unclear which features are extracted by V1 neurons beyond orientation selectivity and phase invariance. Here we work towards systematically studying V1 computations by categorizing neurons into groups that perform similar computations. We present a framework to identify common features independent of individual neurons' orientation selectivity by using a rotation-equivariant convolutional neural network, which automatically extracts every feature at multiple different orientations. We fit this model to responses of a population of 6000 neurons to natural images recorded in mouse primary visual cortex using two-photon imaging. We show that our rotation-equivariant network not only outperforms a regular CNN with the same number of feature maps, but also reveals a number of common features shared by many V1 neurons, which deviate from the typical textbook idea of V1 as a bank of Gabor filters. Our findings are a first step towards a powerful new tool to study the nonlinear computations in V1.

研究の動機と目的

• 神経細胞の方向選択性に依存しないV1計算を捉えるニューラルネットワークモデルの開発。
• 共有特徴空間を用いて、大規模なV1ニューロン集団に共通する方向性不変特徴の同定。
• 6,000個のV1ニューロンの自然刺激に対する応答を予測する際、標準CNNと回転等長性モデルのどちらが優れているかの検証。
• 古典的な教科書的視点（V1はGaborフィルターバンクである）に挑戦し、生物学的に妥当な複雑な特徴選択性の同定。
• 共有され、方向性に頑健な特徴に基づく、V1における非教師付き機能的細胞タイプ同定の新フレームワークの確立。

提案手法

• 空間的位置と方向にわたり重みを共有する回転等長性CNNアーキテクチャを採用し、方向に依存しない共有特徴学習を可能にする。
• 自然画像に反応する6,000個のマウスV1興奮性ニューロンの2光子カルシウムイメージングデータを用いてモデルを学習。
• 16個の学習済み特徴を持つ共有特徴空間を採用し、回転等長性畳み込みにより全方向で特徴を抽出。
• 入力画像を最適化してニューロンの活性を最大化することで、各学習済み特徴の好ましい刺激を可視化する活性最大化を適用。
• 空間マスクにはスパarsityを課すが、特徴重みには課さないことで、意味のある非恣意的特徴表現を保証。
• ホールドアウトデータにおける予測応答と実際の神経応答の相関を用いて、モデル性能を検証。

実験結果

リサーチクエスチョン

• RQ1 回転等長性CNNは、自然画像に対する6,000個のV1ニューロンの応答を、標準CNNよりも正確に予測できるか？
• RQ2 V1ニューロンに共通する方向性不変特徴はどのようなものか？また、古典的Gaborフィルタとはどのように異なるか？
• RQ3 学習済み特徴は、単純な方向性・位相選択性を越えた生物学的に意味のある計算を反映しているか？
• RQ4 ニューロンが学習済み特徴に割り当てる特徴重みは、一貫した符号を持つか？これは機能的整合性を示唆するか？
• RQ5 同定された特徴は、記録セッションや個体間で一般化するか？また、解剖学的・遺伝子的細胞タイプと一致するか？

主な発見

• 回転等長性CNNは、同じ数の特徴マップを有する標準CNNよりも、自然画像に対する6,000個のV1ニューロンの応答をより正確に予測した。
• わずか16個の学習済み特徴で高い予測精度を達成したため、V1計算のコンパクトで共有された表現が存在することが示唆された。
• 多くの学習済み特徴が非Gabor形状を示し、特に顕著な非対称な中心-周囲パターンを有していた。これは古典的Gaborフィルターバンクモデルと矛盾する。
• 16個の特徴のうち11個について、非ゼロニューロン重みの90％以上が同じ符号を持ち、機能的整合性と生物学的妥当性を示唆した。
• 活性最大化により、異なる特徴タイプの好ましい刺激が空間パターンごとにクラスタ化されたが、方向に依存しなかった。これにより、回転等長性が確認された。
• モデルのニューロン間での一般化能力と高い性能から、共有され、方向性に頑健な特徴がV1集団応答の大部分を規定していることが示唆された。