[논문 리뷰] Using deep learning to reveal the neural code for images in primary visual cortex

William Kindel, Elijah Christensen외 1명|arXiv (Cornell University)|2017. 06. 19.

Neural dynamics and brain function참고 문헌 14인용 수 17

한 줄 요약

이 연구는 자연 이미지에 대한 주 시각 피질(V1) 뉴런의 발화 속도를 예측하기 위해 딥 컨volution 신경망을 사용하며, 높은 정확도를 달성한다—이론적 한계의 10% 이내로 예측되는 뉴런이 전체의 15%에 이른다. 네트워크를 뒤집어보아 기존에 알려지지 않은 수용체 영역을 규명하였으며, 국소화되지 않은 문양적 특징을 포함하여 고전적인 단순세포와 복합세포를 초월하는 새로운 기능적 세포 유형을 드러낸다.

ABSTRACT

Primary visual cortex (V1) is the first stage of cortical image processing, and a major effort in systems neuroscience is devoted to understanding how it encodes information about visual stimuli. Within V1, many neurons respond selectively to edges of a given preferred orientation: these are known as simple or complex cells, and they are well-studied. Other neurons respond to localized center-surround image features. Still others respond selectively to certain image stimuli, but the specific features that excite them are unknown. Moreover, even for the simple and complex cells-- the best-understood V1 neurons-- it is challenging to predict how they will respond to natural image stimuli. Thus, there are important gaps in our understanding of how V1 encodes images. To fill this gap, we train deep convolutional neural networks to predict the firing rates of V1 neurons in response to natural image stimuli, and find that 15% of these neurons are within 10% of their theoretical limit of predictability. For these well predicted neurons, we invert the predictor network to identify the image features (receptive fields) that cause the V1 neurons to spike. In addition to those with previously-characterized receptive fields (Gabor wavelet and center-surround), we identify neurons that respond predictably to higher-level textural image features that are not localized to any particular region of the image.

연구 동기 및 목표

• 자연 이미지에 대한 주 시각 피질(V1)의 신경 코드를 해독하기 위해, 고전 모델이 많은 뉴런에 대해 실패하는 상황을 다루기 위함.
• 특히 비단순/비복합세포에 대해 전통적 모델의 예측 한계를 극복하기 위함.
• 다양한 V1 뉴런 유형에 일반화되며 발화 속도를 정확하게 예측할 수 있는 딥 러닝 프레임워크를 개발하기 위함.
• 학습된 모델을 사용하여 특정 V1 뉴런 반응을 유도하는 시각적 특징을 역으로 규명하기 위함.
• 딥 러닝 기반 분석을 통해 드러난 반응 특성에 기반해 V1에서 새로운 기능적 세포 유형을 밝혀내기 위함.

제안 방법

• 마카카 원숭이의 355개 V1 뉴런에서 다중전극 어레이 기록을 바탕으로 270장의 원형으로 잘라낸 자연 이미지에 대한 반응에 대해 딥 컨volution 신경망(CNN)을 학습함.
• 각 이미지에 대해 刺자 후 50–100 ms 창을 사용하여 평균 발화 속도를 계산하였으며, 20회 반복 제시 평균을 취함.
• 37개 뉴런을 한 세션에서 하이퍼파라미터 최적화를 수행한 후, 나머지 355개 뉴런에서 성능 평가를 실시함.
• 전체 뉴런에서 실제 신경 발화 속도와 예측값 간 상관계수 $ \overline{r}_{\rm{model}} = 0.56 \pm 0.02 $ 를 달성함.
• 학습된 CNN을 뒤집어, 개별 뉴런의 발화 반응을 유도하는 이미지 특징(수용체 영역)을 규명함.
• 모델을 적용하여 고전적인 가바르 또는 중심-주변 수용체 영역을 초월한 새로운 기능적 세포 유형을 분류하고 발견함.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 자연 이미지에 대한 V1 뉴런의 발화 속도를 정확하게 예측할 수 있는가, 특히 고전 모델로 잘 기술되지 않는 뉴런에 대해서도 말이다?
• RQ2 단순세포나 복합세포가 아닌 V1 뉴런의 반응을 이끄는 시각적 특징은 무엇인가?
• RQ3 딥 네ural 네트워크는 시험 간 변동성으로 정해진 이론적 한계 내에서 신경 반응을 어느 정도 예측할 수 있는가?
• RQ4 학습된 모델을 뒤집어보아, 국소화되지 않거나 고차원적 특징 선택성을 보이는 뉴런의 수용체 영역을 드러낼 수 있는가?
• RQ5 딥 러닝 기반 신경 반응 패턴 분석을 통해 V1에서 어떤 새로운 기능적 세포 유형을 발견할 수 있는가?

주요 결과

• 딥 러닝 모델은 355개 V1 뉴런 전체에서 예측값과 실제 발화 속도 간 평균 상관계수 $ \overline{r}_{\rm{model}} = 0.56 \pm 0.02 $ 를 달성함.
• 전체 뉴런의 15%에서 모델이 신경 반응 변동성으로 정해진 이론적 한계의 10% 이내로 발화 속도를 예측함.
• 기존에 알려진 수용체 영역 유형(가바르 웨이브릿, 중심-주변 프로파일 등)을 성공적으로 규명하여 모델의 예측 능력을 검증함.
• 고전적 수용체 영역을 초월해, 더 높은 수준의 국소화되지 않은 문양적 이미지 특징에 민감한 뉴런을 드러냄.
• 네트워크의 역행을 통해 이전에 복잡하거나 국소화되지 않은 반응 특성으로 인해 간과되었던 새로운 기능적 세포 유형을 규명함.
• 이 접근법은 모델이 자극을 생성하고 직접적으로 신경 코드 가설을 검증할 수 있는 폐쇄형 루프 신경과학 프레임워크를 가능하게 함.