[논문 리뷰] A rotation-equivariant convolutional neural network model of primary visual cortex

Alexander S. Ecker, Fabian H. Sinz외 8명|arXiv (Cornell University)|2018. 09. 27.

Neural dynamics and brain function인용 수 13

한 줄 요약

이 논문은 자연 영상에 대한 쥐의 주 시각皮질(V1) 반응을 모델링하기 위해 회전 등변성 컨volution 신경망(CNN)을 도입하여, 방향성에 영향을 받지 않는 신경 계산 특징을 발견하는 데 목적이 있다. 이 모델은 표준 CNN보다 우수한 성능을 보이며, 비Gabor 유사 특징—예를 들어 비대칭 중심-주변 패턴—을 추출함으로써 V1에 대한 전통적인 Gabor 필터 베이스 모델을 도전한다.

ABSTRACT

Classical models describe primary visual cortex (V1) as a filter bank of orientation-selective linear-nonlinear (LN) or energy models, but these models fail to predict neural responses to natural stimuli accurately. Recent work shows that models based on convolutional neural networks (CNNs) lead to much more accurate predictions, but it remains unclear which features are extracted by V1 neurons beyond orientation selectivity and phase invariance. Here we work towards systematically studying V1 computations by categorizing neurons into groups that perform similar computations. We present a framework to identify common features independent of individual neurons' orientation selectivity by using a rotation-equivariant convolutional neural network, which automatically extracts every feature at multiple different orientations. We fit this model to responses of a population of 6000 neurons to natural images recorded in mouse primary visual cortex using two-photon imaging. We show that our rotation-equivariant network not only outperforms a regular CNN with the same number of feature maps, but also reveals a number of common features shared by many V1 neurons, which deviate from the typical textbook idea of V1 as a bank of Gabor filters. Our findings are a first step towards a powerful new tool to study the nonlinear computations in V1.

연구 동기 및 목표

• 신경 세포의 방향성 선택성에 영향을 받지 않는 V1 계산을 포괄하는 신경망 모델을 개발하는 것.
• 공유된 특징 공간을 통해 대규모 V1 뉴런 집단에서 공통의 방향성 불변 특징을 식별하는 것.
• 6,000개의 V1 뉴런의 자연 자극에 대한 반응을 예측하는 데 있어 표준 CNN과 회전 등변성 모델 중 어느 것이 더 우수한지 테스트하는 것.
• V1을 전통적인 Gabor 필터 베이스 모델로 간주하는 교과서적 시각을 도전하기 위해 생물학적으로 타당한 복잡한 특징 선택성을 식별하는 것.
• 공유된 방향성 강인 특징에 기반한 V1에서의 비지도 기반 기능 세포 유형 발견 신규 프레임워크를 수립하는 것.

제안 방법

• 공간 위치와 방향에 걸쳐 가중치를 공유하는 회전 등변성 CNN 아키텍처를 사용하여 방향성에 관계없이 공유된 특징 학습이 가능하도록 하는 것.
• 자연 영상에 반응하는 6,000개의 쥐 V1 활성화 뉴런에 대한 이중광자 칼슘 이미징 데이터를 기반으로 모델을 훈련하는 것.
• 16개의 학습된 특징을 가진 공유된 특징 공간을 사용하며, 각 특징은 방향성 등변성 컨볼루션을 통해 모든 방향에서 추출되는 것.
• 입력 영상을 최적화하여 뉴런의 활성도를 최대화함으로써 각 학습된 특징의 선호 자극을 시각화하기 위해 활성도 최대화 기법을 적용하는 것.
• 공간 마스크에는 희박성 조건을 적용하지만 특징 가중치에는 적용하지 않아 의미 있는, 임의적이지 않은 특징 표현을 확보하는 것.
• 보류된 데이터에서 예측된 신경 반응과 실제 반응 간 상관관계를 측정하여 모델 성능을 검증하는 것.

실험 결과

연구 질문

• RQ1 회전 등변성 CNN 모델이 표준 CNN보다 자연 영상에 대한 대규모 V1 뉴런 집단의 반응을 더 정확하게 예측할 수 있는가?
• RQ2 V1 뉴런 간 공유되는 방향성 불변 특징의 유형은 무엇이며, 전통적인 Gabor 필터와 어떻게 다를까?
• RQ3 학습된 특징들이 단순한 방향성 및 단계 선택성 이상의 생물학적으로 의미 있는 계산을 반영하는가?
• RQ4 뉴런이 학습된 특징에 할당한 특징 가중치는 일관된 부호를 가지는가? 이는 뉴런 간 기능적 일관성을 나타내는가?
• RQ5 식별된 특징들이 기록 세션과 개체 간 일반화되는 정도는 어느 정도이며, 해부학적 또는 유전자 기반 세포 유형과 일치하는가?

주요 결과

• 회전 등변성 CNN은 동일한 수의 특징 매핑을 가진 표준 CNN보다 6,000개의 V1 뉴런에 대한 반응 예측 성능이 뛰어났다.
• 모델은 단지 16개의 학습된 특징으로도 높은 예측 정확도를 달성하여 V1 계산의 압축된 공유 표현이 있음을 시사했다.
• 학습된 많은 특징들이 비Gabor 형태를 보였으며, 두드러진 비대칭 중심-주변 패턴을 포함하여 전통적인 Gabor 필터 베이스 모델과 정면으로 배치되었다.
• 16개 특징 중 11개에서 비영인 뉴런 가중치의 90% 이상이 동일한 부호를 가지며, 이는 기능적 일관성과 생물학적 타당성을 시사했다.
• 활동도 최대화 결과, 다양한 특징 유형의 선호 자극은 공간 패턴에 따라 군집되어 있었지만 방향성과는 독립적이었으며, 이는 회전 등변성의 정당성을 확인했다.
• 모델의 뉴런 간 일반화 능력과 성능은 공유된 방향성 강인 특징이 V1 집단 반응의 상당 부분을 이끄는 데 기여한다는 것을 시사했다.