[論文レビュー] From deep learning to mechanistic understanding in neuroscience: the structure of retinal prediction

Hidenori Tanaka, Aran Nayebi+4 more|arXiv (Cornell University)|Dec 12, 2019

Neural dynamics and brain function被引用数 42

ひとこと要約

本論文は、網膜の深層CNNモデルから機構的サブネットワークを抽出する体系的なモデル削減ワークフローを開発し、予測的な網膜計算に対して真実性の高い説明を提供し、検証可能な神経科学的仮説を形成する。

ABSTRACT

Recently, deep feedforward neural networks have achieved considerable success in modeling biological sensory processing, in terms of reproducing the input-output map of sensory neurons. However, such models raise profound questions about the very nature of explanation in neuroscience. Are we simply replacing one complex system (a biological circuit) with another (a deep network), without understanding either? Moreover, beyond neural representations, are the deep network's computational mechanisms for generating neural responses the same as those in the brain? Without a systematic approach to extracting and understanding computational mechanisms from deep neural network models, it can be difficult both to assess the degree of utility of deep learning approaches in neuroscience, and to extract experimentally testable hypotheses from deep networks. We develop such a systematic approach by combining dimensionality reduction and modern attribution methods for determining the relative importance of interneurons for specific visual computations. We apply this approach to deep network models of the retina, revealing a conceptual understanding of how the retina acts as a predictive feature extractor that signals deviations from expectations for diverse spatiotemporal stimuli. For each stimulus, our extracted computational mechanisms are consistent with prior scientific literature, and in one case yields a new mechanistic hypothesis. Thus overall, this work not only yields insights into the computational mechanisms underlying the striking predictive capabilities of the retina, but also places the framework of deep networks as neuroscientific models on firmer theoretical foundations, by providing a new roadmap to go beyond comparing neural representations to extracting and understand computational mechanisms.

研究の動機と目的

• ニューラルモデリングにおいて、入力-出力の正確性を超えた機構的説明の必要性を動機づける。
• 網膜データで訓練された深層CNNから、縮約され解釈可能なサブネットワークを抽出する方法を開発する。
• 縮約モデルが既知の網膜現象を再現し、新たな検証可能な仮説を生み出すことを示す。
• 深層ネットワークが中間的な網膜計算への概念的洞察を提供できることを示す（予測性能だけでなく）。

提案手法

• 網膜応答を r(t) = F[s(t)] と表現し、刺激経路に沿った入力アトリビューションを用いて r(t) を分解し、正確な寄与 A_xyΔt を得る（式1）。
• 寄与を第一層の隠れユニットへ拡張し、r(t) = Σ_cxy [G_cxy(s)] (W_cxy^{[1]} ∘ s) = Σ A_cxy（式2）となる。
• 刺激の不変性を活用して次元を大幅に削減する（例：OSR/潜在時間: 10,368 → 8 チャンネル；運動反転/先読み: 10,368 → 288；式3–4）。
• 大きな寄与度で同定された重要なサブユニットのみを用いて、縮約された1つの隠れ層モデルを構築する。
• 各人工刺激クラスに削減手順を適用して、先行する網膜理論と一致し、かつそれを拡張する機械的説明を導出する。

実験結果

リサーチクエスチョン

• RQ1 自然主義的な網膜刺激で訓練された深層CNNは、人工刺激にさらされた場合でも生物学的網膜と同じ計算機構を明らかにできるか？
• RQ2 モデル削減とアトリビューションは、複雑な網膜応答を説明する解釈可能で最小限の回路をどのように明らかにできるか？
• RQ3 OSR、潜在コード、運動反転、運動先読みの抽出された機構は、これまでの実験結果と一致し、新しい検証可能な仮説を提供するか？
• RQ4 単一の縮約モデル内で、統一された3経路（ON/OFF、速/遅）フレームワークが多様な網膜計算を説明できるか？

主な発見

• 3経路の縮約モデル（1 OFF、2 ON）は、フラッシュ頻度に応じてピーク時刻が移動する欠落刺激応答を捕捉する。
• 潜在コードは、反映する遅延抑制を伴う双方向ON/OFF経路によって説明される。
• 運動反転は、空間跨ぎの2つのサブユニットが非線形な下流重みを介してバーストを生み出し、固定的な潜時を生むことで説明される。
• 運動先読みは、興奮性入力と方向依存性の抑制により、ピークを運動方向に沿って前進させることで生じる。
• いずれの場合も、縮約モデルは先行研究と一致する機構的説明を提供し、検証可能な仮説を提供する。深層CNNを神経科学における科学的仮説生成の道具として検証可能である。