[논문 리뷰] Deep Neural Networks predict Hierarchical Spatio-temporal Cortical Dynamics of Human Visual Object Recognition

Radoslaw Martin Cichy, Aditya Khosla외 3명|arXiv (Cornell University)|2016. 01. 12.

Visual perception and processing mechanisms참고 문헌 47인용 수 46

한 줄 요약

이 연구는 실제 세계의 물체 분류 작업을 통해 훈련된 딥 뉴럴 네트워크(DNNs)가 인간 시각적 물체 인식의 계층적 시공간 동역학을 정확히 예측함을 보여준다. MEG와 fMRI 데이터를 사용하여, DNN 표현이 시간(조기에서 말기 처리 단계로 이르기까지)과 공간(내측 및 후측 경로를 통해)에서 뇌 반응을 유사하게 반영함을 입증하였으며, 성능은 아키텍처 자체보다 실제 세계 훈련에 의존함을 확인하였다.

ABSTRACT

The complex multi-stage architecture of cortical visual pathways provides the neural basis for efficient visual object recognition in humans. However, the stage-wise computations therein remain poorly understood. Here, we compared temporal (magnetoencephalography) and spatial (functional MRI) visual brain representations with representations in an artificial deep neural network (DNN) tuned to the statistics of real-world visual recognition. We showed that the DNN captured the stages of human visual processing in both time and space from early visual areas towards the dorsal and ventral streams. Further investigation of crucial DNN parameters revealed that while model architecture was important, training on real-world categorization was necessary to enforce spatio-temporal hierarchical relationships with the brain. Together our results provide an algorithmically informed view on the spatio-temporal dynamics of visual object recognition in the human visual brain.

연구 동기 및 목표

• 딥 뉴럴 네트워크(DNNs)를 계산적 프레임워크로 사용하여 인간 시각적 물체 인식의 시공간 동역학을 모델링하기.
• DNN 표현이 MEG를 통해 측정된 실제 인간 뇌 반응과 시간(시간 축)과 공간(공간 축)에서 일치하는지 테스트하기.
• 아키텍처, 훈련 절차, 또는 작업 중 어느 요소가 DNN과 인간 뇌 간 유사성에 가장 크게 기여하는지 규명하기.
• 시각적 표현이 물체 인식 과정에서 인간 피각에서 어떻게 형성되는지를 알고리즘 기반의 정량적 기술 제공하기.
• 대표성 유사성 분석(RSA)을 사용하여 인공 신경망과 인간 피각 처리 간의 직접적, 데이터 기반 비교 수립하기.

제안 방법

• 백프로파게이션을 사용하여 ImageNet 2012 물체 분류 데이터에 대해 8층의 딥 뉴럴 네트워크(DNN)를 훈련하여, 보류된 118개 이미지 테스트 세트에서 인간 수준의 성능 달성.
• 대표성 유사성 분석(RSA)을 사용하여 fMRI 및 MEG 데이터와 DNN 계층 별 표현을 비교하기 위해 표현 이질성 행렬(RDM) 간 피어슨 상관계수를 계산.
• 이미지 유도 후 100ms부터 1000ms까지의 밀리초 해상도로 MEG 데이터 확보, 센서 수준 패턴 복원을 통해 시간 해상도를 확보한 RDM 생성.
• 전체 뇌에서 국소 fMRI RDM과 DNN 계층 RDM 간 유사성(Spearman’s ρ)을 계산하기 위해 공간적으로 편향 없는 서치라이트 분석 적용.
• MEG 센서 패턴에서 이미지 카테고리 복원을 위해 선형 서포트 벡터 머신(SVM)을 사용하고, 100중첩 교차검증 및 무작위 서브샘플링(k=5)을 적용하여 복원 정확도 행렬 생성.
• 통계적 추론을 위해 부호 순열 검정(10,000회 순열), 공간/시간 클러스터에 대한 클러스터 크기 추론, 부트스트랩핑(1,000회 재표본 추출)을 사용하여 표준 오차 추정.

실험 결과

연구 질문

• RQ1 실제 세계의 이미지 인식 작업을 통해 훈련된 딥 뉴럴 네트워크가 인간 시각적 물체 인식의 계층적 시공간 동역학을 재현하는가?
• RQ2 MEG로 측정된 인간 뇌 반응과 비교했을 때, DNN 표현의 시간적 동역학은 어떻게 다른가?
• RQ3 fMRI로 측정된 인간 뇌의 공간적 활성 패턴과 DNN 표현 간 유사성은 내측 및 후측 시각 경로 전역에서 어느 정도까지 일치하는가?
• RQ4 모델 아키텍처, 훈련 절차, 또는 작업 중 어느 요소가 DNN과 인간 뇌 표현 간 유사성에 가장 강하게 영향을 미치는가?
• RQ5 DNNs는 시각적 물체 인식에서皮质 처리를 예측 가능한 알고리즘 기반 모델로 활용될 수 있는가?

주요 결과

• DNN은 118개의 실제 세계 물체로 구성된 테스트 세트에서 94%의 상위 다섯 개 정확도를 달성하여 인간 수준의 성능을 보였다.
• MEG 기반 RSA는 DNN 표현이 시간 순서의 연속으로 나타나며, 조기 계층이 조기 시각 반응과 일치하고 더 깊은 계층이 후속 피각 처리 단계와 일치함을 보여주었다.
• fMRI 기반 RSA는 DNN 계층이 내측 및 후측 시각 경로의 표현을 점진적으로 따라가며, 더 깊은 계층이 편도 및 parieta 영역과 일치함을 확인하였다.
• DNN과 뇌 간 공간적 유사성이 가장 강하게 나타났을 때는 실제 세계 분류 작업으로 훈련된 경우였으며, 아키텍처나 사전 훈련만으로는 아님.
• DNN 계층 RDM과 뇌 RDM 간 피어슨 상관계수는 여러 뇌 영역과 시간 포인트에서 유의미한 수준(p < 0.05, 보정됨)에 도달하여 체계적인 일치를 확인하였다.
• 순열 검정 및 부트스트랩핑을 통한 통계적 검증을 통해, 다양한 피험자 및 조건에서 관찰된 DNN-뇌 유사성의 강건성과 신뢰성을 확인하였다.