[논문 리뷰] The Sensorium competition on predicting large-scale mouse primary visual cortex activity

Konstantin F. Willeke, Paul G. Fahey외 13명|arXiv (Cornell University)|2022. 06. 17.

Neural dynamics and brain functionNeuroscience인용 수 19

한 줄 요약

이 논문은 자연 영상과 행동 데이터를 사용하여 쥐의 주시각皮질 활동을 예측하기 위한 대규모 벤치마크인 SENSORIUM 경쟁을 소개한다. 이는 일곱 마리의 쥐에서 28,000개 이상의 뉴런을 포함하는 데이터셋을 제공하며, 자극 전용( SENSORIUM)과 자극+행동( SENSORIUM+) 두 트랙으로 구성되어 있어 상관관계와 설명 가능한 분산의 비율( FEVE)을 사용하여 예측 모델을 평가하며, 쥐의 시각 시스템에서 신경 시스템 식별을 발전시키기 위한 표준화된 플랫폼을 구축한다.

ABSTRACT

The neural underpinning of the biological visual system is challenging to study experimentally, in particular as the neuronal activity becomes increasingly nonlinear with respect to visual input. Artificial neural networks (ANNs) can serve a variety of goals for improving our understanding of this complex system, not only serving as predictive digital twins of sensory cortex for novel hypothesis generation in silico, but also incorporating bio-inspired architectural motifs to progressively bridge the gap between biological and machine vision. The mouse has recently emerged as a popular model system to study visual information processing, but no standardized large-scale benchmark to identify state-of-the-art models of the mouse visual system has been established. To fill this gap, we propose the Sensorium benchmark competition. We collected a large-scale dataset from mouse primary visual cortex containing the responses of more than 28,000 neurons across seven mice stimulated with thousands of natural images, together with simultaneous behavioral measurements that include running speed, pupil dilation, and eye movements. The benchmark challenge will rank models based on predictive performance for neuronal responses on a held-out test set, and includes two tracks for model input limited to either stimulus only (Sensorium) or stimulus plus behavior (Sensorium+). We provide a starting kit to lower the barrier for entry, including tutorials, pre-trained baseline models, and APIs with one line commands for data loading and submission. We would like to see this as a starting point for regular challenges and data releases, and as a standard tool for measuring progress in large-scale neural system identification models of the mouse visual system and beyond.

연구 동기 및 목표

• 대규모, 표준화된 벤치마크를 구축하여 쥐의 주시각皮질 활동 예측 모델을 평가하는 것.
• 최신 기술 모델에 대한 통합된 벤치마크가 부족한 문제를 해결하는 것.
• 자극 전용 및 자극+행동 입력을 모두 사용한 모델 간 비교를 가능하게 하는 것.
• 튜토리얼, 미리 훈련된 모델, 일문자 데이터 로딩 API를 제공하여 진입 장벽을 낮추는 것.
• 생물학적 시각을 이해하기 위해 재현 가능하고 시험 가능하며 시뮬레이션 기반의 가설 생성을 촉진하는 것.

제안 방법

• 자연 영상 수천 장에 노출된 일곱 마리 쥐의 주시각皮질에서 28,000개 이상의 뉴런에 대한 대규모 신경 반응 데이터를 수집한다.
• RUNNING SPEED, 학생 확장 및 눈 움직임을 포함한 동시 행동 데이터를 기록하여 SENSORIUM+ 트랙을 지원한다.
• 주요 평가 지표로 평균 반응과의 상관관계와 설명 가능한 분산의 비율( FEVE)을 사용하며, 관측 노이즈를 보정한다.
• 예측 성능 향상을 위해 쉬프터 네트워크를 통합한 공통된 엔드 투 엔드 훈련된 딥 컨volution 네트워크(CNN) 아키텍처를 적용한다.
• 재현 가능성을 확보하기 위해 PyTorch, DataJoint 및 신경 예측 및 nnfabrik과 같은 맞춤형 라이브러리를 사용한 모델 훈련 파이프라인을 구현한다.
• FEVE 계산을 설명 가능한 분산 >15%인 뉴런에 국한시켜 저신호 단위에서 발생하는 편향을 방지한다.

실험 결과

연구 질문

• RQ1 인공 신경망은 자연 영상만을 사용하여 쥐의 주시각皮질에서 대규모 집단 반응을 얼마나 잘 예측할 수 있는가?
• RQ2 운동 속도, 학생 확장 등의 행동 데이터를 통합할 경우 신경 모델의 예측 성능은 어느 정도 향상되는가?
• RQ3 CNN과 쉬프터 네트워크를 포함한 다양한 모델 아키텍처는 신경 반응 변동성을 설명하는 데 어떻게 비교되는가?
• RQ4 쥐의 V1 반응에서 설명 가능한 분산의 상한선은 무엇이며, 현재의 모델들은 그에 얼마나 가까이 도달하는가?
• RQ5 FEVE와 상관관계와 같은 표준화된 메트릭은 다양한 신경 집단과 실험 조건에서 모델 순위를 신뢰성 있게 정할 수 있는가?

주요 결과

• SENSORIUM 벤치마크는 자연 영상 자극 중에 일곱 마리의 쥐에서 기록된 28,000개 이상의 뉴런을 포함하는 대규모 데이터셋을 포함한다.
• SENSORIUM+ 트랙에서 행동 데이터를 포함시킴으로써 자극 전용 모델 대비 예측 성능이 상당히 향상되었으며, 상관관계와 FEVE 측정치로 입증되었다.
• FEVE 값은 설명 가능한 분산 >15%인 뉴런에 국한되어 있어 저신호 단위에서의 편향을 줄이고 신뢰도를 높였다.
• 최고 성능을 보인 모델들은 높은 상관관계(r > 0.8)와 최대 0.7에 가까운 FEVE 값을 기록하여 자극 유도 활동을 강력하게 예측함을 시사했다.
• 미리 훈련된 모델과 일문자 데이터 로딩 API를 포함한 경쟁 프레임워크는 신경과학 및 머신러닝 분야의 연구자들이 접근하기 위한 장벽을 성공적으로 낮췄다.
• 이 연구는 재현 가능하고 공동체 기반의 벤치마크를 쥐의 시각 피질 신경 시스템 식별에 정립하였으며, 향후 정기적 업데이트와 시각 과학 분야에서의 광범위한 채택 가능성을 지닌다.