[논문 리뷰] Neural system identification for large populations separating "what" and "where"

David Klindt, Alexander S. Ecker외 2명|arXiv (Cornell University)|2017. 11. 07.

Neural dynamics and brain function참고 문헌 23인용 수 47

한 줄 요약

이 논문은 대규모 신경 회로 집단에서 공간적 수용장치 위치('어디에')와 공유되는 비선형 기능 계산('무엇')을 명시적으로 분리하는 인과적, 희소 읽기 출력층을 갖춘 딥 컨volution 신경망(CNN)을 제안한다. 이러한 구성 요소를 분리함으로써, 제한된 데이터에서 엔드 투 엔드 학습이 가능해지고, 쥐의 V1 반응 예측에서 최신 기술 수준의 성능(r = 0.50 평균 테스트 상관계수)을 달성하며, 세포 유형 분류를 위한 功能적 바코드를 제공한다.

ABSTRACT

Neuroscientists classify neurons into different types that perform similar computations at different locations in the visual field. Traditional methods for neural system identification do not capitalize on this separation of 'what' and 'where'. Learning deep convolutional feature spaces that are shared among many neurons provides an exciting path forward, but the architectural design needs to account for data limitations: While new experimental techniques enable recordings from thousands of neurons, experimental time is limited so that one can sample only a small fraction of each neuron's response space. Here, we show that a major bottleneck for fitting convolutional neural networks (CNNs) to neural data is the estimation of the individual receptive field locations, a problem that has been scratched only at the surface thus far. We propose a CNN architecture with a sparse readout layer factorizing the spatial (where) and feature (what) dimensions. Our network scales well to thousands of neurons and short recordings and can be trained end-to-end. We evaluate this architecture on ground-truth data to explore the challenges and limitations of CNN-based system identification. Moreover, we show that our network model outperforms current state-of-the art system identification models of mouse primary visual cortex.

연구 동기 및 목표

• 제한된 실험 데이터로 대규모 집단에서 복잡한 비선형 신경 계산을 식별하는 데 도전하는 데 목적을 두며.
• 특히 개별 뉴런의 수용장치 위치 추정이 어려운 점을 해결하여 CNN을 통한 신경계 식별 학습의 한계를 극복하는 데 목적을 두며.
• 신경 계산의 공간 등변성 특성을 활용하여, 뉴런 간에 공유되는 비선형 기능 공간을 학습하면서도 공간적 차원과 기능적 차원을 분리하는 데 목적을 두며.
• 기존 모델보다 우수한 성능을 보이며, 확장 가능하고 엔드 투 엔드로 학습 가능한 아키텍처를 개발하는 데 목적을 두며.
• 학습된 기능 가중치를 '바코드'로 사용하여 기능적 세포 유형 분류를 체계적으로 수행할 수 있는 방법을 제공하는 데 목적을 두며.

제안 방법

• 모든 뉴런 간에 공통되는 비선형 기능 공간을 학습하기 위해 공유된 컨volution 레이어를 갖춘 CNN을 설계한다.
• 매개변수 수를 줄이고 최적화를 향상시키기 위해 공간적('어디에')과 기능적('무엇') 차원을 분리하는 희소하고 인과적 읽기 출력 레이어를 구현한다.
• 제한된 신경 반응 데이터를 사용하여 백프로파게이션을 통해 전체 네트워크를 엔드 투 엔드로 학습시킨다.
• 수축 반응 평균에서 유도된 고정된 공간 마스크를 사용하여 수용장치 위치를 초기화함으로써 수렴성을 향상시킨다.
• 모델을 시뮬레이션된 진짜 데이터와 공개된 데이터셋에서의 실제 쥐 V1 데이터에 적용한다.
• 보류된 테스트 세트에서 예측된 반응과 관측된 반응 간 상관계수를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 공유된 딥 기능 공간이 대규모 집단의 신경계 식별에서 예측 성능을 향상시키는가?
• RQ2 수용장치 위치 추정('어디에')과 기능 계산('무엇')을 분리함으로써 모델의 확장성과 데이터 효율성이 향상되는가?
• RQ3 제안된 인과적 읽기 출력 아키텍처가 완전히 연결된 또는 비컨볼루션 대안보다 신경 반응 예측에서 어떻게 성능이 우수한가?
• RQ4 학습된 기능 가중치가 세포 유형 분류를 위한 기능적 바코드로 사용될 수 있는가?
• RQ5 예측 성능을 극대화하기 위해 기록 지속시간과 집단 크기 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 제안된 인과적 읽기 출력을 갖춘 CNN은 쥐 V1의 신경 반응과 평균 테스트 상관계수 0.50을 달성하여 이전 최신 기술 수준의 모델을 초월했다.
• 비록 더 단순하고 컨볼루션 불변성을 사용하지 않았음에도 불구하고, Antolik 등 [19]이 사용한 3층 완전 연결 네트워크보다 성능이 뛰어났다.
• 인과적 읽기 출력이 없는 모델들—예를 들어 표준 CNN에 완전 연결 읽기 출력을 사용한 모델—은 유의미하게 열등한 성능을 보였으며, 이는 아키텍처적 분리가 필수적임을 시사한다.
• 성능 곡선은 집단 크기를 늘리는 것이 반응 분산을 설명하는 데 기록 지속시간을 연장하는 것보다 더 효율적임을 시사한다.
• 학습된 기능 가중치는 세포 유형 분류를 위한 기능적 바코드를 제공하며, 공유된 계산을 기반으로 한 뉴런의 체계적 功能적 군집화를 가능하게 한다.