[논문 리뷰] From deep learning to mechanistic understanding in neuroscience: the structure of retinal prediction

Hidenori Tanaka, Aran Nayebi외 4명|arXiv (Cornell University)|2019. 12. 12.

Neural dynamics and brain function인용 수 42

한 줄 요약

이 논문은 망막의 심층 CNN 모델에서 기계적 부분망을 추출하는 체계적인 모델 축소 워크플로를 개발하여, 예측 망막 계산에 대한 타당한 설명을 제공하고 검증 가능한 신경과학 가설을 형성한다.

ABSTRACT

Recently, deep feedforward neural networks have achieved considerable success in modeling biological sensory processing, in terms of reproducing the input-output map of sensory neurons. However, such models raise profound questions about the very nature of explanation in neuroscience. Are we simply replacing one complex system (a biological circuit) with another (a deep network), without understanding either? Moreover, beyond neural representations, are the deep network's computational mechanisms for generating neural responses the same as those in the brain? Without a systematic approach to extracting and understanding computational mechanisms from deep neural network models, it can be difficult both to assess the degree of utility of deep learning approaches in neuroscience, and to extract experimentally testable hypotheses from deep networks. We develop such a systematic approach by combining dimensionality reduction and modern attribution methods for determining the relative importance of interneurons for specific visual computations. We apply this approach to deep network models of the retina, revealing a conceptual understanding of how the retina acts as a predictive feature extractor that signals deviations from expectations for diverse spatiotemporal stimuli. For each stimulus, our extracted computational mechanisms are consistent with prior scientific literature, and in one case yields a new mechanistic hypothesis. Thus overall, this work not only yields insights into the computational mechanisms underlying the striking predictive capabilities of the retina, but also places the framework of deep networks as neuroscientific models on firmer theoretical foundations, by providing a new roadmap to go beyond comparing neural representations to extracting and understand computational mechanisms.

연구 동기 및 목표

• 뉴럴 모델링에서 입력-출력 정확도 너머의 기계적 설명 필요성에 동기를 부여한다.
• 망막 데이터로 학습된 심층 CNN에서 축소되고 해석 가능한 부분망을 추출하는 방법을 개발한다.
• 축소된 모델이 알려진 망막 현상을 재현하고 새로운 검증 가능한 가설을 생성함을 보인다.
• 깊은 네트워크가 예측 성능뿐만 아니라 중간 망막 계산에 대한 개념적 통찰을 제공할 수 있음을 보여준다.

제안 방법

• 망막 반응을 r(t) = F[s(t)]로 표현하고 자극 경로를 따른 입력 기여도(input-attribution)를 통해 r(t) = A_xyΔt (Equation 1)로 정확한 기여를 얻는다.
• 첫 번째 층 히든 유닛까지 기여도를 확장하여 r(t) = Σ_cxy [G_cxy(s)] (W_cxy^{[1]} ∘ s) = Σ A_cxy (Equation 2)로 표현한다.
• 자극 불변성을 활용해 차원을 크게 축소한다(예: OSR/잠복지: 10,368 → 8 채널; 운동 반전/예측: 10,368 → 288; Equations 3–4).
• 큰 기여도에 의해 식별된 중요한 부분만을 사용하여 축소된 단일 은닉층 모델을 구성한다.
• 각 인공 자극 클래스에 축소 절차를 적용하여 이전 망막 이론과 정렬되거나 확장하는 기계적 설명을 도출한다.

실험 결과

연구 질문

• RQ1 자연스러운 망막 자극에서 학습된 심층 CNN이 인공 자극에 노출되었을 때 생물학적 망막과 동일한 계산 메커니즘을 드러낼 수 있는가?
• RQ2 모델 축소와 기여도 분석이 복잡한 망막 반응을 설명하는 해석 가능하고 최소한의 회로를 어떻게 밝혀낼 수 있는가?
• RQ3 OSR, 지연 코딩, 운동 반전, 운동 예측에 대한 추출된 메커니즘이 이전 실험 결과와 일치하고 새로운 검증 가능한 가설을 제공하는가?
• RQ4 단일 축소 모델 내부에서 다양한 망막 계산을 설명하는 세 경로(ON/OFF, 빠름/느림) 프레임워크를 설명할 수 있는가?

주요 결과

• 세 경로 축소 모델(1 OFF, 2 ON)은 Omitted Stimulus Response를 포착하며 피크 타이밍이 플래시 주기에 따라 이동한다.
• 지연 억제가 반응 피크를 형성하는 이중 ON/OFF 경로에 의해 지연 코딩이 설명된다.
• 운동 반전은 공간에 걸친 두 개의 하위유닛이 비선형 하류 가중치를 통해 버스트를 생성하여 고정된 잠복기를 낳는 방식으로 설명된다.
• 운동 예측은 운동 방향에 따라 피크를 앞당기는 방향 민감 억제와 함께 흥분성 입력으로부터 기인한다.
• 모든 경우에서 축소 모델은 이전 연구와 일치하는 기계적 설명을 제공하고 실험적으로 검증 가능한 가설을 제시하여 뇌신경과학에서 과학적 가설 생성을 위한 도구로서의 심층 CNN을 검증한다.