[논문 리뷰] Brain-Like Object Recognition with High-Performing Shallow Recurrent ANNs

Jonas Kubilius, Martin Schrimpf외 12명|arXiv (Cornell University)|2019. 09. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 128

한 줄 요약

이 논문은 CORnet-S를 소개한다. 얕은 구조의 네 영역 순환 인공신경망으로, ventral stream 해부학과에 부합하며 모델들 중 가장 높은 Brain-Score를 달성하고 이미지넷(ImageNet) 성능도 강하게 유지한다.

ABSTRACT

Deep convolutional artificial neural networks (ANNs) are the leading class of candidate models of the mechanisms of visual processing in the primate ventral stream. While initially inspired by brain anatomy, over the past years, these ANNs have evolved from a simple eight-layer architecture in AlexNet to extremely deep and branching architectures, demonstrating increasingly better object categorization performance, yet bringing into question how brain-like they still are. In particular, typical deep models from the machine learning community are often hard to map onto the brain's anatomy due to their vast number of layers and missing biologically-important connections, such as recurrence. Here we demonstrate that better anatomical alignment to the brain and high performance on machine learning as well as neuroscience measures do not have to be in contradiction. We developed CORnet-S, a shallow ANN with four anatomically mapped areas and recurrent connectivity, guided by Brain-Score, a new large-scale composite of neural and behavioral benchmarks for quantifying the functional fidelity of models of the primate ventral visual stream. Despite being significantly shallower than most models, CORnet-S is the top model on Brain-Score and outperforms similarly compact models on ImageNet. Moreover, our extensive analyses of CORnet-S circuitry variants reveal that recurrence is the main predictive factor of both Brain-Score and ImageNet top-1 performance. Finally, we report that the temporal evolution of the CORnet-S "IT" neural population resembles the actual monkey IT population dynamics. Taken together, these results establish CORnet-S, a compact, recurrent ANN, as the current best model of the primate ventral visual stream.

연구 동기 및 목표

• 해부학적 타당성과 높은 인식 성능 사이의 균형을 갖춘 뇌 영감을 받은 ANN 구축을 동기 부여한다.
• V1, V2, V4, IT에 매핑된 네 영역 순환 모델 CORnet-S를 제안하여 Brain-Score 하에서 뇌 유사성을 테스트한다.
• 깊이가 아니라 재발현(recurrence)이 뇌 유사성과 성능을 좌우한다는 것을 입증한다.
• 일반화 능력 평가를 위해 ImageNet 및 전이 작업에서 CORnet-S를 평가한다.
• CORnet-S가 영장류의 신경역학적 다이나믹스와 행동 패턴을 얼마나 포착하는지 정량화한다.

제안 방법

• 해부학적으로 매핑된 네 영역(V1, V2, V4, IT)과 선형 범주 디코더를 갖춘 CORnet-S를 정의한다.
• 각 영역의 출력을 소수의 단계로 다시 자신에게 피드백하여 재발현을 구현한다(예: V2 COR 및 IT COR를 두 번, V4 COR를 네 번).
• 고정된 영역 내 회로를 갖는 얕은 합성곱 블록과 시간에 따라 공유되지 않는 배치 정규화를 사용한다.
• ImageNet 2012에서 SGD 모멘텀으로 학습하고, 43 에폭, 배치 크기 256, 학습률 스케줄(0.1에서 매 20 에폭마다 10으로 나눔)을 적용한다.
• Brain-Score를 통해 뇌 유사성을 평가하며, V4/IT의 신경 예측력, 행동 예측력, 그리고 원숭이 IT의 신경 다이나믹스(OST)를 포함한다.
• Brain-Score와 ImageNet을 사용하여 CORnet-S를 AlexNet, VGG, ResNet, Inception, NASNet 등 다양한 모델과 비교한다.
• 선형 분류기만 재학습시켜 CIFAR-100으로 일반화하고, 새로운 데이터셋에서 신경 및 행동 벤치마크를 평가한다.

실험 결과

연구 질문

• RQ1 컴팩트하고 해부학적으로 정렬된 순환 ANN이 강력한 ImageNet 성능을 유지하면서 최첨단 뇌 유사성(Brain-Score)을 달성할 수 있는가?
• RQ2 어떤 구조적 요소들(재발현, 병목 폭, 스킵 연결)이 Brain-Score와 물체 인식 성능에 가장 큰 영향을 미치는가?
• RQ3 CORnet-S가 실제 신경 반응 궤적과 유사한 영장류 IT의 시간적 신경 다이나믹스를 포착하는가?
• RQ4 뇌 유사성이 CIFAR-100의 전이 성능 및 새로운 신경/행동 데이터셋으로의 일반화와 어떻게 관련되는가?

주요 결과

• CORnet-S는 테스트된 모델 중에서 가장 높은 Brain-Score(.471)를 달성하면서도 얕은 아키텍처로 남아 있다.
• CORnet-S는 최댓 Brain-Score를 가진 에폭에서 73.1%의 top-1 ImageNet 정확도에 도달하고 얕은 모델 중 CIFAR-100으로의 전이 성능이 가장 우수하다.
• 재발현은 Brain-Score와 ImageNet top-1 성능 모두의 주요 예측 요소이다.
• 모델의 IT 신경 다이나믹스(객체 해결 시간)가 원숭이 IT 타이밍과 상관관계를 보여 시간적으로 진화하는 표현을 나타낸다.
• Brain-Score 일반화 분석은 새로운 피험자 및 데이터셋에서도 CORnet-S가 높은 순위를 차지함을 보여 주며, 원 데이터 외의 강건한 뇌 유사성을 시사한다.