[論文レビュー] Deep Learning Models of the Retinal Response to Natural Scenes

Lane McIntosh, Niru Maheswaranathan+3 more|arXiv (Cornell University)|Feb 6, 2017

Retinal Imaging and Analysis被引用数 164

ひとこと要約

畳み込みニューラルネットワークは自然風景に対する網膜神経節細胞の応答を正確に予測し、LN/GLMを上回り、刺激タイプをまたいで一般化し、内部の網膜機構を明らかにする。

ABSTRACT

A central challenge in neuroscience is to understand neural computations and circuit mechanisms that underlie the encoding of ethologically relevant, natural stimuli. In multilayered neural circuits, nonlinear processes such as synaptic transmission and spiking dynamics present a significant obstacle to the creation of accurate computational models of responses to natural stimuli. Here we demonstrate that deep convolutional neural networks (CNNs) capture retinal responses to natural scenes nearly to within the variability of a cell's response, and are markedly more accurate than linear-nonlinear (LN) models and Generalized Linear Models (GLMs). Moreover, we find two additional surprising properties of CNNs: they are less susceptible to overfitting than their LN counterparts when trained on small amounts of data, and generalize better when tested on stimuli drawn from a different distribution (e.g. between natural scenes and white noise). Examination of trained CNNs reveals several properties. First, a richer set of feature maps is necessary for predicting the responses to natural scenes compared to white noise. Second, temporally precise responses to slowly varying inputs originate from feedforward inhibition, similar to known retinal mechanisms. Third, the injection of latent noise sources in intermediate layers enables our model to capture the sub-Poisson spiking variability observed in retinal ganglion cells. Fourth, augmenting our CNNs with recurrent lateral connections enables them to capture contrast adaptation as an emergent property of accurately describing retinal responses to natural scenes. These methods can be readily generalized to other sensory modalities and stimulus ensembles. Overall, this work demonstrates that CNNs not only accurately capture sensory circuit responses to natural scenes, but also yield information about the circuit's internal structure and function.

研究の動機と目的

• 網膜神経節細胞が自然風景刺激をどのように符号化するかを理解する。
• 自然風景に対する網膜応答の予測モデルとしてのCNNを、LNおよびGLMのベースラインと比較して評価する。
• 刺激分布間の一般化を調査する（自然風景とホワイトノイズ）。
• CNNが捉える網膜様の内部機構（抑制、適応、ばらつき）を同定する。
• 長い時間スケールのダイナミクスをモデル化するためのアーキテクチャ的拡張（再帰的接続）を探る。）

提案手法

• 自然風景系列とホワイトノイズ刺激から網膜神経節細胞の発火を予測する深層CNNを訓練する。
• CNNを線形-非線形（LN）および一般化線形モデル（GLMs）と比較する。
• ADAMを用いたポアソン負の対数尤度損失で最適化する；L2およびL1正則化を適用する。
• ネットワークの深さ、フィルタサイズ（>15x15）、レイヤータイプを変化させる；保持データで評価する。
• 学習済みの1層目および2層目の受容野を可視化して特徴を解釈する。
• 長時間の適応を捉えるために再帰層を用いてCNNを拡張することを検討する。

実験結果

リサーチクエスチョン

• RQ1 CNNは自然風景に対する網膜応答を予測する際にLN/GLMモデルを上回ることができるか？
• RQ2 CNNは刺激分布間（自然風景とホワイトノイズ）でより良く一般化するか？
• RQ3 CNN表現から網膜の内部機構（例：フィードフォワード抑制、適応、サブポアソン性のばらつき）はどのように現れるか？
• RQ4 再帰的接続は長時間スケールの適応ダイナミクスのモデリングを改善するか？
• RQ5 学習された特徴は自然風景の訓練データとホワイトノイズ訓練データでどのように異なるか？

主な発見

• CNNは自然風景とホワイトノイズの両方に対する網膜応答の予測において、LNモデルおよびGLMを大幅に上回る。
• CNNは網膜に近い信頼性を達成し、刺激分布間の一般化性能がより単純なモデルより優れている。
• 潜在ノイズを注入した訓練は網膜発火に観察されるサブポアソン性のばらつきを捉える。
• CNNはフィードフォワード抑制による時間的に正確な発火を明らかにし、自然風景に対して2層目の特徴がより広く多様であることを示す。
• CNNに再帰的な横方向結合を追加すると、正確な応答記述の性質として対比適応が自然発生的に現れる。
• 1つの刺激クラスで訓練されたCNNは、GLMsやLNモデルより他の刺激クラスへより良く一般化する。