[논문 리뷰] Modeling Category-Selective Cortical Regions with Topographic Variational Autoencoders

T. Anderson Keller, Qinghe Gao외 1명|arXiv (Cornell University)|2021. 10. 25.

Cell Image Analysis Techniques인용 수 7

한 줄 요약

이 논문은 인간의 후두측 측두피질과 유사한 계층적 구조를 띠는 얼굴, 신체, 장소에 선택적으로 반응하는 공간적으로 국소화된 신경 클러스터의 출현을 비지도 학습 방식으로 모델링하기 위해 상부지리적 변동형 오토인코더(TVAE)를 제안한다. 상부지리적 사전 지식을 통해 잠재 표현의 공간적 조직을 강제함으로써, 얼굴, 신체, 장소에 선택적으로 반응하는 조밀하고 공간적으로 국소화된 신경 클러스터를 생성하며, 인간 후두측 측두피질과 유사한 점진적으로 더 추상적인 계층적 카테고리의 중첩된 계층적 구조를 보여준다.

ABSTRACT

Category-selectivity in the brain describes the observation that certain spatially localized areas of the cerebral cortex tend to respond robustly and selectively to stimuli from specific limited categories. One of the most well known examples of category-selectivity is the Fusiform Face Area (FFA), an area of the inferior temporal cortex in primates which responds preferentially to images of faces when compared with objects or other generic stimuli. In this work, we leverage the newly introduced Topographic Variational Autoencoder to model the emergence of such localized category-selectivity in an unsupervised manner. Experimentally, we demonstrate our model yields spatially dense neural clusters selective to faces, bodies, and places through visualized maps of Cohen's d metric. We compare our model with related supervised approaches, namely the Topographic Deep Artificial Neural Network (TDANN) of Lee et al., and discuss both theoretical and empirical similarities. Finally, we show preliminary results suggesting that our model yields a nested spatial hierarchy of increasingly abstract categories, analogous to observations from the human ventral temporal cortex.

연구 동기 및 목표

• 비지도 학습에서 상부지리적 인도적 편향을 갖춘 모델이 인간 뇌에서 관찰된 공간적으로 국소화된 카테고리 선택적 조직을 재현할 수 있는지 조사하기 위해.
• 초위계적(예: 생체와 비생체) 및 하위계적(예: 인간 얼굴과 동물 얼굴) 차이를 포함한 계층적 카테고리 선택성의 출현을 모델링하기 위해.
• TVAE의 성능 및 구조적 조직을 TDANN와 같은 지도 학습 기반 모델과 비교하여 공간적 일관성과 선택성 측면에서 평가하기 위해.
• 상부지리적 조직이 생성 능력의 손실 없이 인도적 편향을 향상시키는 정규화 요소로 작용하는지 평가하기 위해.

제안 방법

• 모델는 2차원 토러스 구조를 사용하고 국소 이웃 풀링을 적용하여 잠재 공간에서의 공간 연속성을 강제하는 상부지리적 변동형 오토인코더(TVAE)를 사용한다.
• 잠재 표현은 2차원 격자에서 가까운 뉴런들이 유사한 자극 카테고리에 선호적으로 반응하도록 구성되며, 콜럼너 조직을 모방한다.
• TVAE는 변동형 하한 bound 목적함수를 사용하여 미니배치 경사하강법으로 엔드 투 엔드로 훈련되며, 이에 따라 이웃 뉴런들의 활성화가 상호 관련되도록 하는 공간 상관 손실이 포함된다.
• 잠재 특징 맵에 공간 상관 손실가 적용되어, 콜럼너 거리(밀리미터 단위)에 기반한 기대 상관과의 편차를 방지함으로써 상부지리적 질서를 촉진한다.
• 모델는 국소 유사성을 강제하기 위해 25×25 커널을 사용하여 국소 공간 통계를 계산한다.
• 모델은 표준화된 전처리를 거친 ImageNet 유사 데이터로 훈련되며, 이는 224×224로 리사이징하고, 무작위 컷팅을 수행하며, ImageNet 통계를 사용해 정규화하는 것을 포함한다.

실험 결과

연구 질문

• RQ1 비지도 학습 기반 상부지리적 정규화가 된 VAE 모델이 인간 측두피질 영역(F sore, PPA, EBA 등)에서 관찰된 공간적으로 국소화된 카테고리 선택적 신경 클러스터를 재현할 수 있는가?
• RQ2 TVAE는 인간 후두측 측두피질에서 관찰된 것과 유사하게 점진적으로 더 추상적인 카테고리의 중첩된 공간 계층을 생성하는가?
• RQ3 TVAE의 성능 및 선택성은 Topographic Deep Artificial Neural Network(TDANN)와 같은 지도 학습 기반 기준 모델과 비교해 어떻게 되는가?
• RQ4 상부지리적 조직이 얼마나 효과적으로 정규화 요소로 작용하며, 생성 능력은 유지하면서도 인도적 편향을 향상시키는가?

주요 결과

• TVAE는 코헨의 d 지도를 통해 시각화된 바와 같이 얼굴, 신체, 장소에 선택적으로 반응하는 공간적으로 조밀한 신경 클러스터를 성공적으로 생성한다.
• 모델는 더 높은 수준의 카테고리(예: 생체 대 비생체)가 겹치고 계층적인 패턴으로 나타나는 중첩된 공간 계층적 선택성을 보여준다.
• 지도 학습 기반 TDANN과 비교해 TVAE는 유사한 계층적 조직을 달성하지만, 선택성의 일관성에 대한 시각적 차이를 정량화하기 어려운 편이다.
• 비상부지리적 VAE 기준 모델는 카테고리 선택성이 유의미하게 감소했으며, 대부분의 뉴런이 모든 자극에 대해 활성화되는 경향을 보이며, 상부지리적 구조가 전문화를 향상시킨다는 것을 시사한다.
• TVAE의 로그우도 성능는 비상부지리적 VAE보다 약간 낮아, 상부지리적 조직이 생성 능력의 일부를 희생함으로써 인도적 편향을 향상시키는 정규화 요소로 작용한다는 것을 시사한다.
• 공간 상관 손실은 효과적으로 상부지리적 질서를 강제하며, 하이퍼파라미터를 원래 TDANN 설정과 일치시킬 경우 이전 연구 결과와 일치하는 결과를 도출한다.