[논문 리뷰] Explaining V1 Properties with a Biologically Constrained Deep Learning Architecture

Galen Pogoncheff, Jacob Granley외 1명|arXiv (Cornell University)|2023. 05. 18.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 뇌과학에서 유래한 구성요소—중심-주변 상반성, 국소 수용장치, 조절 정규화, 코르티컬 확대—를 ResNet50 기반 아키텍처에 통합하여 보다 생물학적으로 타당한 깊이 신경망 아키텍처를 제안한다. 이를 통해 주된 시각皮질(V1) 신경 활동과의 일치도를 향상시켰다. 이러한 메커니즘을 체계적으로 통합함으로써, 뇌-스코어 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, V1 전체, 예측성, 특성 점수 모두 새로운 SOTA를 수립하였다.

ABSTRACT

Convolutional neural networks (CNNs) have recently emerged as promising models of the ventral visual stream, despite their lack of biological specificity. While current state-of-the-art models of the primary visual cortex (V1) have surfaced from training with adversarial examples and extensively augmented data, these models are still unable to explain key neural properties observed in V1 that arise from biological circuitry. To address this gap, we systematically incorporated neuroscience-derived architectural components into CNNs to identify a set of mechanisms and architectures that comprehensively explain neural activity in V1. We show drastic improvements in model-V1 alignment driven by the integration of architectural components that simulate center-surround antagonism, local receptive fields, tuned normalization, and cortical magnification. Upon enhancing task-driven CNNs with a collection of these specialized components, we uncover models with latent representations that yield state-of-the-art explanation of V1 neural activity and tuning properties. Our results highlight an important advancement in the field of NeuroAI, as we systematically establish a set of architectural components that contribute to unprecedented explanation of V1. The neuroscience insights that could be gleaned from increasingly accurate in-silico models of the brain have the potential to greatly advance the fields of both neuroscience and artificial intelligence.

연구 동기 및 목표

• 현재의 CNN이 고성능 객체 인식 작업을 수행함에도 불구하고, 원숭이 V1의 핵심 신경 특성들을 설명하지 못하는 데서 비롯된 격차를 해소하기 위해.
• 모델-뇌 유사도를 향상시키는 생물학적으로 타당한 아키텍처 구성요소를 식별하고 통합하기 위해.
• 신경과학적으로 영감을 받은 각 구성요소가 V1 표현 정확도에 기여하는 정도를 체계적으로 평가하기 위해.
• 이전 최신 기술 수준 모델들보다 더 종합적으로 V1 조절 특성과 신경 활동을 설명할 수 있는 신경 제약이 가해진 깊이 신경망 모델을 개발하기 위해.
• 신경과학에 기반한 아키텍처 설계가 단지 데이터 증강이나 적대적 훈련만으로는 달성할 수 없는 수준의 뇌에 맞는 표현 학습을 크게 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 공간적으로 조절된 컨볼루션 필터를 사용하여 중심-주변 상반성을 시뮬레이션하는 새로운 신경망 레이어를 설계하였다.
• 공간적으로 제약된 컨볼루션을 통해 국소 수용장치를 통합하여 코어티컬 컬럼 조직을 모방하였다.
• 지역 활동에 기반해 신경 반응 이득을 조절하는 조절 분할 정규화 레이어를 구현하여 횡방향 억제를 모방하였다.
• 입력 이미지의 극좌표 변환을 통해 코르티컬 확대를 적용하여 중심 시각 영역을 고해상도 영역으로 매핑하였다.
• 이러한 구성요소들을 표준 ResNet50 아키텍처에 통합하여 신경 제약이 가해진 깊이 신경망을 개선했다.
• 정확도와 일반화 능력을 평가하기 위해 ImageNet 및 적대적으로 손상된 ImageNet 데이터를 모두 사용하여 최종 모델을 훈련시켰다.

Figure 1: Design patterns of neuro-constrained architectural components. A) Difference of Gaussian implements a center-surround receptive field. B) Local receptive fields of two neurons without weight sharing. C) Tuned divisive normalization inhibits each feature map by a Gaussian-weighted average o

실험 결과

연구 질문

• RQ1 생물학적으로 영감을 받은 아키텍처 구성요소 중에서 깊이 신경망 표현이 원숭이 V1 신경 활동과의 일치도를 가장 크게 향상시키는 것은 무엇인가?
• RQ2 중심-주변 상반성과 조절 정규화는 인공 V1 뉴런의 주변 조절 및 조절 특성 모델링에 어떻게 기여하는가?
• RQ3 기타 아키텍처 구성요소와 비교해 코르티컬 확대가 V1 표현 정확도 향상에 얼마나 기여하는가?
• RQ4 적대적 훈련은 중심-주변 컨볼루션과 같은 특정 아키텍처 구성요소가 신경 반응 분산을 설명하는 데 기여하는 데에 효과를 증폭시킬 수 있는가?
• RQ5 다양한 신경 제약 구성요소의 조합은 개별 구성요소보다 뛰어난 뇌-모델 일치도를 달성하는 데 상호보완적 효과를 가지는가?

주요 결과

• 신경 제약이 가해진 ResNet50 모델은 새로운 최신 기술 수준(V1 전체 점수)을 달성하여 이전 모델을 크게 앞섰다.
• 모델은 V1 전체 점수 0.621, 예측성 점수 0.432, 특성 점수 0.842를 기록하였으며, 각각 이전 SOTA인 0.594, 0.409, 0.816를 크게 초월하였다.
• 코르티컬 확대가 가장 영향력 있는 구성요소였으며, 이미지넷 정확도가 약간 감소함에도 불구하고 V1 일치도를 크게 향상시켰다.
• 중심-주변 상반성은 훈련 데이터에 따라 효과가 달라졌는데, 적대적으로 손상된 데이터로 훈련된 경우에만 주변 조절 조절 특성 향상에 기여하였다.
• 조절 정규화는 오직 유일하게 모델의 강건성 향상에 기여하였고, 조절 특성 일치도 향상에도 기여하였다.
• 제거 실험 결과, 다수의 구성요소를 조합할 경우 상호보완적 향상이 발생했으며, 전체 모델이 개별 구성요소 버전보다 뛰어난 성능을 보였다.

Figure 2: ResNet50 layer 1, supplemented with neuro-constrained architectural components. Throughout the the modified layer 1, primary visual cortex ( V1 )activity is modeled with cortical magnification, center-surround convolutions, tuned normalization, and local receptive field layers. Layer 1 out