[논문 리뷰] Unsupervised deep learning identifies semantic disentanglement in single inferotemporal neurons

Irina Higgins, Le Chang외 5명|arXiv (Cornell University)|2020. 06. 25.

Face Recognition and Perception참고 문헌 52인용 수 15

한 줄 요약

이 연구는 매파크 편측 측두피질(IT)에서 얼굴을 봤을 때의 신경 반응에 깊이 있는 비지도 생성 모델인 $\beta$-VAE를 적용하여, 단일 IT 뉴런이 성별이나 머리카락 길이와 같은 의미적으로 해석 가능한 분리된 요소를 인코딩하고 있음을 밝혀냈다. 모델은 단지 몇 개의 뉴런으로부터도 새로운 얼굴을 성공적으로 재구성하여, IT 뉴런이 분리된 잠재 요소와 일치하는 저차원이고 의미적으로 해석 가능한 코드를 지원함을 보여주었다.

ABSTRACT

Deep supervised neural networks trained to classify objects have emerged as popular models of computation in the primate ventral stream. These models represent information with a high-dimensional distributed population code, implying that inferotemporal (IT) responses are also too complex to interpret at the single-neuron level. We challenge this view by modelling neural responses to faces in the macaque IT with a deep unsupervised generative model, beta-VAE. Unlike deep classifiers, beta-VAE "disentangles" sensory data into interpretable latent factors, such as gender or hair length. We found a remarkable correspondence between the generative factors discovered by the model and those coded by single IT neurons. Moreover, we were able to reconstruct face images using the signals from just a handful of cells. This suggests that the ventral visual stream may be optimising the disentangling objective, producing a neural code that is low-dimensional and semantically interpretable at the single-unit level.

연구 동기 및 목표

• 단일 편측 측두피질(IT) 뉴런이 얼굴 이미지의 변동 인자들—예를 들어 성별이나 머리카락 길이—와 같은 의미적으로 해석 가능한 분리된 요소를 인코딩하는지 테스트하는 것.
• 기존의 인지 이론이 IT에서의 인지 코드는 인구 수준의 코드에만 국한된다는 견해를 도전하기 위해, 개별 뉴런이 생성 모델에서 유도된 분리된 잠재 단위와 일치하는지 조사하는 것.
• 비지도 표현 학습을 통해 $\beta$-VAE가 단일 뉴런의 조절 특성에 대해 지도 학습 모델이나 전통적 모델보다 더 잘 설명할 수 있는지 평가하는 것.
• 소수의 기록된 IT 뉴런으로부터의 신호만을 사용하여 새로운 얼굴 이미지를 재구성하는 것이 가능한지 평가하는 것.

제안 방법

• 2,100개의 자연적 얼굴 이미지의 거울 반전된 복제본을 사용해 $\beta$-VAE를 훈련시켜 분리된 잠재 표현을 학습하는 것.
• 선형 회귀를 사용해 $\beta$-VAE의 단일 잠재 단위로부터 개별 IT 뉴런의 반응을 복원함으로써 뉴런-잠재 단위 간의 정렬을 가능하게 하는 것.
• 다양한 기준 모델들과의 성능 비교: 오토인코더 (AE), 변동 오토인코더 (VAE), VGG (PCA 또는 원본 특징 사용), PCA, ICA, AAM.
• 각 뉴런이 단일 잠재 단위와 얼마나 잘 상관되는지 평가하기 위해 상관계수 비율과 단위 비율 점수를 측정함으로써 정렬 품질을 평가하는 것.
• 단일 뉴런으로부터 복원된 잠재 단위를 사용해 새로운 얼굴 이미지를 재구성하고, 실제와 재구성된 잠재 반응 간의 코사인 거리로 정밀도를 평가하는 것.
• 모델 간의 정렬 및 재구성 성능 차이의 통계적 유의성을 평가하기 위해 웰슐의 t-검정을 사용하는 것.

실험 결과

연구 질문

• RQ1 맥아파크 편측 측두피질의 단일 IT 뉴런은 성별이나 머리카락 길이와 같은 의미적으로 해석 가능한 분리된 요소를 인코딩하는가?
• RQ2 비지도 생성 모델인 $\beta$-VAE의 단일 잠재 단위가 지도 학습 모델이나 전통적 모델보다 단일 IT 뉴런의 반응을 더 잘 설명할 수 있는가?
• RQ3 분리된 생성 모델을 통해 디코딩된 소수의 단일 IT 뉴런의 반응만을 사용하여 새로운 얼굴 이미지를 재구성하는 것이 가능한가?
• RQ4 $\beta$-VAE의 단일 뉴런 반응 설명 성능이 딥 분류기, 오토인코더, 수작업으로 설계된 AAM과 비교해 어떻게 되는가?

주요 결과

• $\beta$-VAE는 모든 기준 모델보다 유의미하게 높은 평균 상관계수 비율 점수를 기록하여, 각 IT 뉴런의 반응이 오직 하나의 분리된 잠재 단위와 강하게 상관됨을 나타내었다.
• $\beta$-VAE는 모든 기준 모델보다 유의미하게 높은 평균 단위 비율 점수를 기록하여, 서로 다른 뉴런들이 다양한 잠재 단위에 의해 복원됨을 보여주며, 분리성의 타당성을 뒷받침했다.
• $\beta$-VAE를 사용해 단지 12개의 단일 IT 뉴런으로도 새로운 얼굴를 재구성한 결과, 27~30개의 뉴런이 필요한 기준 모델보다 유의미하게 낮은 코사인 거리(실제와 재구성된 잠재 반응 간)를 기록하여 성능이 뛰어났다.
• $\beta$-VAE의 잠재 단위는 인간이 애너테이션한 속성으로 검증된 바, 성별이나 머리카락 길이와 같은 알려진 의미적 요소와 놀라울 정도로 일치함을 보였다.
• 수작업으로 얼굴 구조에 최적화된 '황금 표준'으로 사용된 AAM 모델조차도, 정렬과 재구성 성능에서 $\beta$-VAE에 뒤지지 않았다.
• 통계적 검정을 통해 $\beta$-VAE가 모든 기준 모델보다 성능 우위를 보였으며, 이는 유의미한 결과(유의수준 p < 0.01)임을 확인하여 연구 결과의 탄탄함을 뒷받침했다.