[論文レビュー] Using deep learning to reveal the neural code for images in primary visual cortex

William Kindel, Elijah Christensen+1 more|arXiv (Cornell University)|Jun 19, 2017

Neural dynamics and brain function参考文献 14被引用数 17

ひとこと要約

本研究では、自然画像への応答として一次視覚皮質（V1）ニューロンの発火頻度を予測するために深層畳み込みニューラルネットワークを用い、高い精度を達成した—全ニューロンの15%が理論的限界の10%以内で予測された。ネットワークを逆方向に処理することで、従来未知の受容 field を同定し、局所的でないテクスチャ的特徴を含む、古典的な単純・複合細胞とは異なる新しい機能的細胞タイプが明らかになった。

ABSTRACT

Primary visual cortex (V1) is the first stage of cortical image processing, and a major effort in systems neuroscience is devoted to understanding how it encodes information about visual stimuli. Within V1, many neurons respond selectively to edges of a given preferred orientation: these are known as simple or complex cells, and they are well-studied. Other neurons respond to localized center-surround image features. Still others respond selectively to certain image stimuli, but the specific features that excite them are unknown. Moreover, even for the simple and complex cells-- the best-understood V1 neurons-- it is challenging to predict how they will respond to natural image stimuli. Thus, there are important gaps in our understanding of how V1 encodes images. To fill this gap, we train deep convolutional neural networks to predict the firing rates of V1 neurons in response to natural image stimuli, and find that 15% of these neurons are within 10% of their theoretical limit of predictability. For these well predicted neurons, we invert the predictor network to identify the image features (receptive fields) that cause the V1 neurons to spike. In addition to those with previously-characterized receptive fields (Gabor wavelet and center-surround), we identify neurons that respond predictably to higher-level textural image features that are not localized to any particular region of the image.

研究の動機と目的

• 自然画像の神経コードを一次視覚皮質（V1）で解読すること、特に古典的モデルが多くのニューロンに対して不適切である点に焦点を当てる。
• 特に非単純／複合細胞に対して、従来のモデルが自然刺激への応答を予測する際の限界を克服すること。
• 多様なV1ニューロンタイプに一般化し、発火頻度を高精度に予測できる深層学習フレームワークを開発すること。
• 訓練済みモデルを逆方向に処理し、特定のV1ニューロン応答を引き起こす視覚的特徴（受容 field）を同定すること。
• 深層学習に基づく分析によって、応答特性から明らかになった新たな機能的細胞タイプを同定すること。

提案手法

• マカクザルのV1ニューロン355個のマルチエレクトロードアレイ記録を用い、270枚の円形に切り抜かれた自然画像に対する深層畳み込みニューラルネットワーク（CNN）を訓練した。
• 1回の刺激から50–100 ms後の発火頻度を計算し、20回の繰り返し測定の平均値を算出した。
• 37個のニューロンを1つのセッションから選別し、ハイパーパramータを最適化した後、残りの355個のニューロンで性能を評価した。
• 全ニューロン全体で、実際の神経発火頻度と予測値の相関係数が $ \overline{r}_{\rm{model}} = 0.56 \pm 0.02 $ に達した。
• 訓練済みCNNを逆方向に処理し、個々のニューロンのスパiking応答を誘発する画像特徴（受容 field）を同定した。
• モデルを用いて、Gaborや中心-周囲型受容 field とは異なる、新たな機能的細胞タイプの分類と同定を実施した。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、特に古典的モデルで十分に記述できないニューロンに対し、自然画像への応答としてのV1ニューロン発火頻度を正確に予測できるか？
• RQ2 単純・複合細胞でないV1ニューロンの応答を引き起こす視覚的特徴は何か？
• RQ3 深層ニューラルネットワークは、試行間変動が定める理論的限界内で、どの程度神経応答を予測できるか？
• RQ4 訓練済みモデルを逆方向に処理することで、非局所的または高レベル特徴選択性を示すニューロンの受容 field を明らかにできるか？
• RQ5 深層学習に基づく神経応答パターン解析により、どのような新しい機能的細胞タイプがV1で同定可能か？

主な発見

• 深層学習モデルは、全355個のV1ニューロンにおいて、予測値と実測値の発火頻度の平均相関係数が $ \overline{r}_{\rm{model}} = 0.56 \pm 0.02 $ に達した。
• 全ニューロンの15%において、モデルは神経応答変動が定める理論的限界の10%以内で発火頻度を予測した。
• モデルは、Gaborウェーブレットや中心-周囲プロファイルといった既知の受容 field 型を正しく同定し、その予測能力を裏付けた。
• 古典的受容 field を超えて、高レベルで非局所的なテクスチャ的画像特徴に応答するニューロンも同定された。
• ネットワークの逆方向処理により、従来の複雑さや非局所的応答特性のため見過ごされていた、V1における新しい機能的細胞タイプが明らかになった。
• 本アプローチにより、神経コード仮説を直接検証できる閉ループ神経科学フレームワークの構築が可能になった。