[논문 리뷰] Performance-optimized deep neural networks are evolving into worse models of inferotemporal visual cortex

Drew Linsley, Iván Rodríguez외 5명|arXiv (Cornell University)|2023. 06. 06.

Neural dynamics and brain function인용 수 11

한 줄 요약

본 논문은 DNN이 ImageNet에서 성능이 향상될수록 IT 신경 반응 예측에 더 불리해진다는 것을 보인다; 신경 조화기(neural harmonizer)로 학습하면 표현을 인간과 정렬시키고 신경 예측력을 회복한다.

ABSTRACT

One of the most impactful findings in computational neuroscience over the past decade is that the object recognition accuracy of deep neural networks (DNNs) correlates with their ability to predict neural responses to natural images in the inferotemporal (IT) cortex. This discovery supported the long-held theory that object recognition is a core objective of the visual cortex, and suggested that more accurate DNNs would serve as better models of IT neuron responses to images. Since then, deep learning has undergone a revolution of scale: billion parameter-scale DNNs trained on billions of images are rivaling or outperforming humans at visual tasks including object recognition. Have today's DNNs become more accurate at predicting IT neuron responses to images as they have grown more accurate at object recognition? Surprisingly, across three independent experiments, we find this is not the case. DNNs have become progressively worse models of IT as their accuracy has increased on ImageNet. To understand why DNNs experience this trade-off and evaluate if they are still an appropriate paradigm for modeling the visual system, we turn to recordings of IT that capture spatially resolved maps of neuronal activity elicited by natural images. These neuronal activity maps reveal that DNNs trained on ImageNet learn to rely on different visual features than those encoded by IT and that this problem worsens as their accuracy increases. We successfully resolved this issue with the neural harmonizer, a plug-and-play training routine for DNNs that aligns their learned representations with humans. Our results suggest that harmonized DNNs break the trade-off between ImageNet accuracy and neural prediction accuracy that assails current DNNs and offer a path to more accurate models of biological vision.

연구 동기 및 목표

• 현대의 고정밀 DNN이 자연 이미지에 대한 IT 피질 반응을 더 잘 모델하는지 평가한다.
• 확장될수록 태스크 최적화된 DNN이 IT와의 정합성을 잃는 원인을 조사한다.
• 대체 학습 루틴이나 생물학적 제약이 IT 예측력을 개선할 수 있는지 평가한다.
• DNN 표현을 인간 시각 특성과 IT 반응에 맞추는(신경 조화자) 학습 루틴을 제안하고 테스트한다.

제안 방법

• 브레인-스코어 스타일의 신경 예측을 사용하여 ImageNet 또는 기타 데이터에 대해 사전 학습된 135개의 다양한 DNN(CNN, ViT, 자기감쇠 기반, 로버스트성 학습) 평가.
• 두 마리 원숭이의 고해상도 자연 이미지에 대한 시공간 해상 IT 뉴런 반응 기록.
• 신경 조화자를 이용해 인간의 특성 중요도 맵을 DNN 표현과 정렬하도록 DNN을 학습 및 테스트.
• 부분최소제곱 회귀를 사용해 DNN 유닛 활동을 IT 뉴런 반응에 매핑하고 신경 예측력을 계산.
• CRAFT 기반 특성 분해를 적용해 조화된 모델과 표준 DNN에서 IT 반응을 유발하는 이미지 특성을 해석한다.
• 모델 간, 시간 구간별 신경 예측력을 비교하고 IT와 DNN 간 특성 정렬을 평가한다.

Figure 1 : Deep neural networks (DNNs) are becoming progressively worse models of inferior temporal (IT) cortex as they grow more accurate on ImageNet. Experimental data shown here is taken from Brain-score.org , and each experiment utilized different stimuli. The 104 dots in each panel depict the I

실험 결과

연구 질문

• RQ1 더 높은 ImageNet 정확도가 현대의 DNN에서 IT 신경 예측력을 더 잘 설명하는지 여부.
• RQ2 ImageNet에서 학습된 DNN이 의존하는 특성은 무엇이며, 이것이 자연 이미지의 IT 코딩과 어떻게 다른지.
• RQ3 DNN 표현을 인간 지각 특성(신경 조화자)과 정렬하는 것이 정확도를 희생하지 않고 IT 예측력을 향상시킬 수 있는지.
• RQ4 생물학적으로 정렬된 학습 루틴이 객체 인식과 신경 데이터 간의 불일치를 완화하는가?

주요 결과

• ImageNet에서 사전 학습된 DNN은 ImageNet 정확도가 증가함에 따라 IT 뉴런 반응 예측의 정확도가 떨어진다.
• 자기감소 기반 학습이나 적대적 로버스트성 같은 학습 방법은 IT 예측 트레이드오프를 해결하지 못한다.
• 조화된 DNN(hDNN)은 두 원숭이의 PL 및 ML 영역에서 IT 예측력을 크게 향상시킨다.
• 조화된 모델은 IT 활동을 이끄는 특성을 인간의 판단(예: 얼굴 부위)과 정렬되도록 드러내며, 배경 특징과는 다른 경향을 보인다.
• CRAFT 기반 분석은 조화된 모델이 IT 특징 선택성에 대한 테스트 가능한 해석 가능한 가설을 제공함을 보여준다.
• 조화된 모델은 표준 DNN에서 관찰된 ImageNet 정확도와 신경 예측 정확도 간의 파레토 프런트를 깨뜨린다.

Figure 2 : IT recordings that reveal spatial maps of neuronal responses to complex natural images offer unprecedented insights into their feature selectivity [ 6 ] . (a) Neurons in posterior (PL) and/or medial (ML) lateral IT in two animals were localized using functional magnetic resonance imaging