[논문 리뷰] Correspondence of Deep Neural Networks and the Brain for Visual Textures

Nasir Uddin Laskar, Luis G. Sánchez Giraldo외 1명|arXiv (Cornell University)|2018. 06. 07.

Neural dynamics and brain function참고 문헌 41인용 수 15

한 줄 요약

이 논문은 깊이 학습된 합성곱 신경망(CNN)과 영양소 시각 피질 간의 시각적 무늬 처리에서의 대응 관계를 조사하며, V1에서 V2로의 전이에 초점을 맞춘다. 새로운 유닛 선택 및 가중 평균 방법을 사용하여, 사전 훈련된 CNN의 첫 번째 두 층—특히 비선형 연산(예: 나눗셈 정규화)이 포함된 경우—가 무늬에 대한 V2 신경 반응과 가장 잘 일치함을 보여주며, 신경생리학적 데이터와 강한 정량적·정성적 일치를 보인다.

ABSTRACT

Deep convolutional neural networks (CNNs) trained on objects and scenes have shown intriguing ability to predict some response properties of visual cortical neurons. However, the factors and computations that give rise to such ability, and the role of intermediate processing stages in explaining changes that develop across areas of the cortical hierarchy, are poorly understood. We focused on the sensitivity to textures as a paradigmatic example, since recent neurophysiology experiments provide rich data pointing to texture sensitivity in secondary but not primary visual cortex. We developed a quantitative approach for selecting a subset of the neural unit population from the CNN that best describes the brain neural recordings. We found that the first two layers of the CNN showed qualitative and quantitative correspondence to the cortical data across a number of metrics. This compatibility was reduced for the architecture alone rather than the learned weights, for some other related hierarchical models, and only mildly in the absence of a nonlinear computation akin to local divisive normalization. Our results show that the CNN class of model is effective for capturing changes that develop across early areas of cortex, and has the potential to facilitate understanding of the computations that give rise to hierarchical processing in the brain.

연구 동기 및 목표

• 깊이 학습된 CNN 내에서 초기 시각 피질의 신경 반응과의 대응을 가능하게 하는 계산은 무엇인지 이해하기 위해.
• 학습된 가중치 또는 네트워크 아키텍처 자체만으로도 촉수 데이터와의 대응을 이끌어내는지 규명하기 위해.
• CNN 내 계층적 처리가 뇌에서 V1에서 V2로의 무늬 선택성의 출현을 어떻게 반영하는지 정량화하기 위해.
• 지역적 나눗셈 정규화와 같은 비선형 연산의 역할을 평가하기 위해.
• V2에서 기록된 신경 집단과 가장 잘 일치하는 CNN 유닛의 서브셋을 체계적으로 선택하는 방법을 개발하기 위해.

제안 방법

• 가중 최소제곱 최적화를 사용하여, V2 신경 기록의 평균 조절 지수와 가장 잘 일치하는 CNN 유닛의 집단 평균 반응을 찾는다.
• 정규화된 최적화(식 5)를 적용하여 선택된 유닛 간의 가중치를 균일하게 유지함으로써 해석 가능성과 서브셋 선택의 정확성을 향상시킨다.
• 정규화 후 추정된 가중치를 기반으로 상위 103개의 CNN 유닛을 두 단계 절차로 선택하여 희박하고 대표적인 서브셋을 확보한다.
• 확장된 이미지 데이터셋을 기반으로 225개의 샘플을 한 개씩 제외하는 교차 검증을 수행하여 모델의 강건성을 검증한다.
• 예측된 조절 지수와 측정된 조절 지수 간의 유클리드 거리를 주요 지표로 사용하여 모델-뇌 대응 관계를 정량화한다.
• 비선형성이 없거나 다른 훈련 방식을 사용한 대안적 아키텍처 및 변형과 모델을 비교한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN의 첫 번째 두 층이 V1에서는 관찰되지 않지만 V2에서는 관찰되는 무늬 선택성의 출현을 어느 정도 재현하는가?
• RQ2 CNN 아키텍처의 어떤 구성 요소—학습된 가중치, 아키텍처, 또는 비선형 연산—가 촉수 데이터와의 대응을 위해 필수적인가?
• RQ3 지역적 나눗셈 정규화의 포함 여부가 모델의 V2 반응 예측 능력에 어떤 영향을 미치는가?
• RQ4 실제 V2 신경 집단의 반응 프로파일을 정량적으로 일치시킬 수 있는 CNN 유닛의 서브셋을 선택할 수 있는가?
• RQ5 다양한 이미지 서브셋과 훈련 조건에서 모델의 뇌 신경생리학적 데이터에 대한 적합도는 얼마나 강건한가?

주요 결과

• CNN의 첫 번째 두 층은 무늬 선택성의 발달 측면에서 V2 신경 반응과 강한 정성적·정량적 일치를 보이며, 특히 이와 관련하여 뛰어난 성능을 나타낸다.
• 학습된 가중치 없이 아키텍처만을 사용할 경우 모델의 촉수 데이터에 대한 대응 관계가 크게 감소함을 확인하여, 지도 학습이 필수적임을 시사한다.
• 지역적 나눗셈 정규화와 유사한 비선형 계산이 필수적이며, 이를 제거하면 모델 성능이 크게 떨어진다.
• λ = 0.8로 설정된 정규화된 서브셋 선택 방법은 V2 데이터와 밀도 높은 일치를 보이는 103개의 대표 유닛을 성공적으로 식별하였으며, 이 중 40%의 유닛이 2e⁻³ 이상의 가중치를 가짐을 확인하였다.
• 교차 검증 결과는 모델의 강건성을 확인하였으며, 다양한 이미지 서브셋에서 일관된 적합도와 낮은 예측 오차를 보였다.
• CNN 예측과 V2 데이터 간의 유클리드 거리가 두 번째 층에서 최소화되어, L2에서 가장 강한 대응 관계가 존재함을 시사하며, 이는 V1에서 V2로의 전이와 일치한다.