[논문 리뷰] V1T: large-scale mouse V1 response prediction using a Vision Transformer

Bryan M. Li, Isabel Maria Cornacchia외 2명|arXiv (Cornell University)|2023. 02. 06.

Neural dynamics and brain functionNeuroscience인용 수 3

한 줄 요약

이 논문은 자연시각 자극에 대한 쥐의 주 시각皮질(V1) 신경 반응을 예측하는 데 최고 성능을 보이는 비전 트랜스포머(Vision Transformer) 기반 모델인 V1T를 소개한다. 동물 간 공유된 시각적 및 행동적 표현을 학습하기 위해 자기주의(self-attention) 메커니즘을 활용함으로써 V1T는 이전의 컨volutional 네트워크(CNN) 모델 대비 12.7% 향상된 성능를 달성하며, 수용체 영역과 동일한 생물학적 특성과 관련된 주의 맵 상관관계를 통해 생물학적으로 의미 있는 특징을 드러낸다.

ABSTRACT

Accurate predictive models of the visual cortex neural response to natural visual stimuli remain a challenge in computational neuroscience. In this work, we introduce V1T, a novel Vision Transformer based architecture that learns a shared visual and behavioral representation across animals. We evaluate our model on two large datasets recorded from mouse primary visual cortex and outperform previous convolution-based models by more than 12.7% in prediction performance. Moreover, we show that the self-attention weights learned by the Transformer correlate with the population receptive fields. Our model thus sets a new benchmark for neural response prediction and can be used jointly with behavioral and neural recordings to reveal meaningful characteristic features of the visual cortex.

연구 동기 및 목표

• 대규모 신경 기록 데이터를 기반으로 쥐 V1 신경 반응을 예측할 수 있는 확장 가능하고 데이터 기반의 예측 모델을 개발하기 위해.
• 비전 트랜스포머(ViTs)가 쥐 V1 반응을 모델링하는 데 있어 전통적인 컨volutional 신경망(CNNs)을 능가할 수 있는지 평가하기 위해.
• ViT의 자기주의 메커니즘이 수용체 영역이나 행동 조절과 같은 생물학적 특성을 반영하는지 조사하기 위해.
• 달리기 속도, 동공 확장, 동공 중심 등의 행동 변수를 예측 프레임워크에 통합하여 반응 모델링 성능을 향상시키기 위해.
• 주의 시각화 및 추출 분석을 통해 시스템적 접근을 가능하게 하는 새로운 시뮬레이션 기반 프레임워크를 제공하기 위해.

제안 방법

• 공유된 코어 표현 모듈로 비전 트랜스포머(ViT)를 사용하여 기존의 코어-리아웃 아키텍처에서 전통적인 CNN을 대체한다.
• 영상 자극은 패치 임bedding을 거쳐 처리되며, 멀티헤드 자기주의 메커니즘을 통해 전역적 의존성을 학습한다.
• 행동 변수(달리기 속도, 동공 확장, 동공 중심, 그 도함수)는 학습 가능한 B-MLP 모듈을 통해 잠재 표현에 통합된다.
• 선형 리어아웃 헤드는 공유된 ViT 특징을 각 개체의 개별 뉴런 반응으로 매핑하여 엔드 투 엔드 학습을 가능하게 한다.
• 상관관계 기반 손실 함수를 사용하여, 수천 개의 뉴런을 포함하는 두 개의 대규모 쥐 V1 데이터셋에서 학습을 수행한다.
• 모델의 행동을 해석하고 특정 행동 변수의 영향을 평가하기 위해 주의 시각화 및 추출 분석을 실시한다.

Figure 1 : Illustration of the V 1 T block architecture.

실험 결과

연구 질문

• RQ1 비전 트랜스포머 기반 아키텍처가 자연시각 자극에 대한 쥐 V1 신경 반응을 예측하는 데 있어 컨볼루션 신경망(CNNs)을 능가할 수 있는가?
• RQ2 ViT 모델의 자기주의 가중치가 인구 수용체 영역이나 망막정렬(retinotopy)과 같은 알려진 생물학적 특성과 상관관계가 있는가?
• RQ3 달리기 속도 및 동공 역학과 같은 행동 변수가 신경 반응 모델의 예측 성능에 얼마나 기여하는가?
• RQ4 ViT 모델의 성능는 CNN 기반 모델 대비 학습 데이터 양이 증가함에 따라 어떻게 변화하는가?
• RQ5 ViT 모델의 주의 메커니즘이 주의 조절이나 공간 조정과 같은 쥐 V1의 功能적 조직에 대한 통찰을 제공할 수 있는가?

주요 결과

• V1T는 두 개의 보류된 테스트 세트에서 각각 0.428과 0.444의 단일 시험 상관관계를 기록하며, 이는 이전의 컨볼루션 기반 모델 대비 12.7% 이상 높은 예측 성능을 확보했다.
• 모델의 자기주의 맵은 동물의 동공 중심과 유의미한 상관관계를 보이며, 이는 주의 헤드가 망막정렬 조직과 고정 관련 처리를 반영하고 있음을 시사한다.
• V1T는 뛰어난 데이터 효율성을 보이며, 더 많은 데이터가 제공될수록 성능 향상이 지속되며, 고량 데이터 환경에서 CNN보다 뛰어난 성능를 기록한다.
• 모델은 쥐 V1 예측 리더보드에서 2위 성과를 기록하였으며, 시간적 반응 경향을 사용하지 않은 모든 모델을 압도했다.
• 달리기 속도 및 동공 확장과 같은 행동 변수 통합은 예측 정확도를 향상시켜 V1 반응에 대한 이들의 조절 역할을 확인한다.
• B-MLP 모듈은 스칼라 행동 신호를 ViT의 잠재 공간에 효과적으로 통합하여 아키텍처의 대대적 개선 없이도 다중모달 입력 융합을 지원한다.

Figure 2 : Prediction performance when trained with 500, 1500, 2500, 3500 and (all) 4500 samples per animal in Dataset S . The models were each trained with 30 different random seeds. The error bar shows the standard deviations of the repeated experiments, and the statistical difference (two-sided t