[논문 리뷰] Deep driven fMRI decoding of visual categories

Michele Svanera, Sergio Benini외 4명|arXiv (Cornell University)|2017. 01. 09.

Face Recognition and Perception참고 문헌 12인용 수 6

한 줄 요약

이 논문은 커널 공분산상관계분석(KCCA)를 사용하여 기능적 MRI(fMRI) 데이터와 딥 뉴럴 네트워크 특징 간의 연결을 맺는 하이브리드 fMRI 복원 프레임워크를 제안한다. 이는 고수준 딥 특징(fc7 레이어)과 정렬된 부분공간에 fMRI 데이터를 투영함으로써 '얼굴'과 '전신' 인간 도안을 구분하는 시각적 카테고리 분류를 향상시킨다. 이 방법은 최대 55%의 정확도와 80%의 F1-측정치를 달성하며, fMRI 데이터만을 사용한 복원 방식보다 뚜렷이 뛰어난 성능을 보이며, 다양한 피실험자 간에 우수한 일반화 능력을 보인다. 최적의 성능는 10개의 공분산 성분에서 달성된다.

ABSTRACT

Deep neural networks have been developed drawing inspiration from the brain visual pathway, implementing an end-to-end approach: from image data to video object classes. However building an fMRI decoder with the typical structure of Convolutional Neural Network (CNN), i.e. learning multiple level of representations, seems impractical due to lack of brain data. As a possible solution, this work presents the first hybrid fMRI and deep features decoding approach: collected fMRI and deep learnt representations of video object classes are linked together by means of Kernel Canonical Correlation Analysis. In decoding, this allows exploiting the discriminatory power of CNN by relating the fMRI representation to the last layer of CNN (fc7). We show the effectiveness of embedding fMRI data onto a subspace related to deep features in distinguishing semantic visual categories based solely on brain imaging data.

연구 동기 및 목표

• 딥 컨volution 네트워크 유사 fMRI 복원 모델을 훈련할 때 제한된 뇌 데이터 문제를 해결하기 위해 사전 훈련된 딥 특징을 활용하는 것.
• 뇌 활동을 고수준 딥 뉴럴 네트워크 표현과 정렬함으로써 fMRI 데이터를 이용한 세분화된 시각적 카테고리 분류를 향상시키는 것.
• 분류 성능 향상을 위해 fMRI 데이터를 분류에 유용한 딥 특징과 관련된 부분공간에 투영하는 일반화 가능한 방법을 개발하는 것.
• 실세계 영상 데이터셋(의미론적 시각적 카테고리 포함)에서 인간 도안 인식에 초점을 맞춰 방법을 검증하는 것.

제안 방법

• 기능적 MRI 복합체 활동 패턴(VTCs)과 사전 훈련된 CNN의 fc7 레이어에서 유도된 딥 특징 간의 선형 매핑을 학습하기 위해 커널 공분산상관계분석(KCCA)을 사용한다.
• 시험 단계에서 관측된 fMRI 데이터로부터 fc7 유사 특징을 재구성하기 위해 KCCA 변환 행렬의 무어-펜로즈 의사역행렬을 사용한다.
• 재구성된 딥 특징에 기반해 선형 SVM 분류기를 훈련하여, fMRI 데이터만으로 이진 분류(예: 얼굴 대 전신)를 수행한다.
• 각 피실험자당 35개의 훈련 및 9개의 시험 시간 포인트를 사용하여 피실험자 간 정확도와 F1-측정치로 성능을 평가한다.
• 영상 프레임에서 객체 검출 특징을 추출하기 위해 faster R-CNN을 사용하며, fc7 특징을 의미론적 분류를 위한 고수준 표현으로 사용한다.
• KCCA 모델을 한 영화(Sophie’s Choice)에서 훈련하고, 다른 영화(The Ring 2, Stepmom, The X-Files, Avenge)와 다양한 피실험자에 대해 시험하여 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 fMRI 데이터가 딥 뉴럴 네트워크 특징과 정렬된 부분공간에 효과적으로 투영되어 시각적 카테고리 분류 성능 향상이 가능한가?
• RQ2 제안된 KCCA 기반 특징 재구성 방법은 다양한 피실험자와 다양한 시각적 스타일을 가진 영화 간에 얼마나 잘 일반화되는가?
• RQ3 fMRI 데이터에서 재구성된 딥 특징(fc7)을 사용할 경우, fMRI 데이터만을 사용한 경우에 비해 분류 정확도가 얼마나 향상되는가?
• RQ4 재구성된 특징 공간에서 분류 성능와 분류 능력을 균형 잡는 데 최적의 공분산 성분 수(numCC)는 얼마인가?

주요 결과

• 제안된 방법은 fMRI 데이터만을 사용하여 '얼굴'과 '전신' 인간 도안을 구분하는 데 최대 55%의 정확도와 80%의 F1-측정치를 달성하였으며, fMRI 전용 복원 방식보다 뚜렷이 뛰어난 성능을 보였다.
• 10개의 공분산 성분에서 최고의 성능를 기록하였으며, 이는 fc7 특징에서 유래한 분류 능력과 분류의 안정성 간의 균형을 잘 맞춘 결과였다.
• 분류 성능가 피실험자 간에 낮은 변동성을 보이며, 개인 간에 강력한 일반화 능력을 보였다.
• 특히 The Ring 2, Stepmom, The X-Files에서 fMRI와 딥 특징 간 상관계수(r ≈ 0.7)가 높게 관측되어 정확한 정렬이 이루어졌음을 시사했다.
• Avenge 영화는 시각적 특징(예: 촬영 스케일, 조명, 동작)의 차이로 인해 상관계수가 낮게 나타났으며, 이는 시각적 다양성이 특징 정렬에 미치는 영향을 보여주었다.
• fMRI 데이터에서 재구성된 fc7 특징은 효과적인 복원을 가능하게 하여, fMRI 데이터가 딥 러닝 표현과 정렬된 의미론적 특징 공간에 의미 있게 통합될 수 있음을 입증했다.