[논문 리뷰] The Neural Representation Benchmark and its Evaluation on Brain and Machine

Charles F. Cadieu, Ha Hong외 4명|arXiv (Cornell University)|2013. 01. 15.

Visual perception and processing mechanisms참고 문헌 30인용 수 27

한 줄 요약

이 논문은 커널 행렬의 순서화된 고유분해에서의 분류 손실를 측정하여 시각적 표현을 평가하는 새로운 벤치마크를 소개한다. 이는 매파이크 시각 피질(V4 및 IT)의 신경 표현과 기계 학습 모델 간의 직접 비교를 가능하게 한다. 연구 결과, 깊이 있는 지도 학습 네트워크(Krizhevsky 등, 2012)가 높은 이미지 변형 수준에서 IT 피질 성능을 초월함을 확인하였으며, 이는 현재의 영장류 IT 표현 능력 추정치를 초월한 학습 알고리즘이 처음으로 발견된 것이다.

ABSTRACT

A key requirement for the development of effective learning representations is their evaluation and comparison to representations we know to be effective. In natural sensory domains, the community has viewed the brain as a source of inspiration and as an implicit benchmark for success. However, it has not been possible to directly test representational learning algorithms directly against the representations contained in neural systems. Here, we propose a new benchmark for visual representations on which we have directly tested the neural representation in multiple visual cortical areas in macaque (utilizing data from [Majaj et al., 2012]), and on which any computer vision algorithm that produces a feature space can be tested. The benchmark measures the effectiveness of the neural or machine representation by computing the classification loss on the ordered eigendecomposition of a kernel matrix [Montavon et al., 2011]. In our analysis we find that the neural representation in visual area IT is superior to visual area V4. In our analysis of representational learning algorithms, we find that three-layer models approach the representational performance of V4 and the algorithm in [Le et al., 2012] surpasses the performance of V4. Impressively, we find that a recent supervised algorithm [Krizhevsky et al., 2012] achieves performance comparable to that of IT for an intermediate level of image variation difficulty, and surpasses IT at a higher difficulty level. We believe this result represents a major milestone: it is the first learning algorithm we have found that exceeds our current estimate of IT representation performance. We hope that this benchmark will assist the community in matching the representational performance of visual cortex and will serve as an initial rallying point for further correspondence between representations derived in brains and machines.

연구 동기 및 목표

• 뇌와 기계에서의 시각적 표현 평가를 위한 표준화되고 정량적인 벤치마크를 수립하기 위해.
• 신경 표현과 기계 학습 표현 간의 직접 비교 부족 문제를 커널 분석을 통해 표현 능력을 측정함으로써 해결하기 위해.
• 최신 기계 학습 알고리즘의 성능이 영장류 시각 피질 영역(V4 및 IT)의 표현 성능를 얼마나 잘 모방하거나 초월하는지 평가하기 위해.
• 공유된 데이터셋과 도구를 사용하여 연구자들이 자신의 모델을 매파이크 V4 및 IT의 신경 데이터와 직접 비교할 수 있도록 하기 위해.
• 뇌에 영감을 받거나 뇌를 모방하는 표현 학습 시스템 간의 향후 교차 분야적 대응 기반을 마련하기 위해.

제안 방법

• 벤치마크는 커널 분석을 사용하며, 특히 특징 표현에서 유도된 커널 행렬의 순서화된 고유분해에서의 분류 손실를 계산한다.
• 데이터셋 크기와 표본 추출 변동성의 영향을 피하기 위해 결함이 없는 결정 경계의 복잡도 증가에 따라 표현 성능를 평가한다.
• 맥아파이크 V4 및 IT의 신경 표현은 Majaj 등(2012)의 fMRI 및 전기생리학 데이터를 사용하여 이미지 자극에 매핑한다.
• 기계 학습 모델은 그들의 특징 표현을 추출하고 동일한 커널 분석 프레임워크를 적용하여 평가한다.
• 작은 표본 크기에도 강인하여, 제한된 자극 반복 수를 가진 신경 데이터 평가에 적합하다.
• 동일한 평가 프로토콜과 메트릭을 사용하여 생물학적 표현과 인공 표현 간의 직접적이고 정량적인 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 뇌와 기계에서의 시각적 표현 평가를 위해 공통적이며 정량적인 벤치마크를 정의할 수 있는가?
• RQ2 영장류 시각 영역 IT의 표현 성능는 V4 및 현대의 깊이 있는 기계 학습 모델과 비교해 볼 때 어떻게 다른가?
• RQ3 비지도 및 지도 학습 기반의 깊이 있는 기계 학습 알고리즘이 영장류 IT 피질의 표현 품질을 어느 정도 모방하거나 초월할 수 있는가?
• RQ4 기계 학습 모델의 성능는 이미지 변형 난이도가 증가함에 따라 향상되는가? 그리고 다양한 변형 수준에서 신경 표현과 비교해 볼 때 어떻게 다른가?
• RQ5 커널 분석은 신경 데이터에서 흔히 볼 수 있는 낮은 표본 크기 환경에서 표현 능력 평가에 신뢰성 있고 수렴 가능한 메트릭으로 기능할 수 있는가?

주요 결과

• 영장류 시각 영역 IT의 신경 표현은 V4를 능가하며, 피질 시각 계층의 고차원에서 표현 능력이 향상됨을 시사한다.
• 3층의 깊이 있는 신뢰망(Le 등, 2012)은 V4 수준의 성능를 달성하며 고변형 작업에서는 이를 초월한다.
• 지도 학습 기반의 깊이 컨볼루션 네트워크(Krizhevsky 등, 2012)는 중간 수준의 변형에서는 IT 성능를 모방하고 고변형 작업에서는 이를 초월한다.
• 이것은 현재의 영장류 IT 표현 성능 추정치를 초월한 학습 알고리즘이 처음으로 발견된 사례이다.
• 벤치마크는 작은 표본 크기에서도 빠르게 수렴하여 제한된 자극 반복 수를 가진 신경 데이터 평가에 적합하다.
• 저자들은 V4 및 IT의 이미지 데이터셋, 분석 도구, 신경 측정 데이터를 공개하여 공동 연구 및 재현 가능성을 높였다.