[논문 리뷰] Multi-Region Neural Representation: A novel model for decoding visual stimuli in human brains

Muhammad Yousefnezhad, Daoqiang Zhang|arXiv (Cornell University)|2016. 12. 26.

Visual perception and processing mechanisms인용 수 3

한 줄 요약

이 논문은 시각 자극 복원에 사용되는 fMRI 기반 복원 모델인 다중 영역 신경 표현(Multi-Region Neural Representation)을 제안한다. 이 모델은 자동으로 각 자극에 대응하는 활성 뇌 영역을 탐지하고, 스냅샷 기반의 신경 활동 표현을 사용하여 시각 자극 복원 성능을 향상시킨다. ROI 수준의 가우시안 스무딩, L1-정규화된 서포트 벡터 머신(SVM), 그리고 백킹(bootstrapping)을 활용함으로써 노이즈와 희소성 문제를 줄이고, 네 가지 시각 카테고리—단어, 자음, 물체, 무의미한 사진—에서 최신 기술 대비 뛰어난 정확도와 AUC 성능을 달성한다. 이와 동시에 계산 비용은 감소하고 신경과학자들이 이해하기 쉬운 해석 가능성을 높였다.

ABSTRACT

Multivariate Pattern (MVP) classification holds enormous potential for decoding visual stimuli in the human brain by employing task-based fMRI data sets. There is a wide range of challenges in the MVP techniques, i.e. decreasing noise and sparsity, defining effective regions of interest (ROIs), visualizing results, and the cost of brain studies. In overcoming these challenges, this paper proposes a novel model of neural representation, which can automatically detect the active regions for each visual stimulus and then utilize these anatomical regions for visualizing and analyzing the functional activities. Therefore, this model provides an opportunity for neuroscientists to ask this question: what is the effect of a stimulus on each of the detected regions instead of just study the fluctuation of voxels in the manually selected ROIs. Moreover, our method introduces analyzing snapshots of brain image for decreasing sparsity rather than using the whole of fMRI time series. Further, a new Gaussian smoothing method is proposed for removing noise of voxels in the level of ROIs. The proposed method enables us to combine different fMRI data sets for reducing the cost of brain studies. Experimental studies on 4 visual categories (words, consonants, objects and nonsense photos) confirm that the proposed method achieves superior performance to state-of-the-art methods.

연구 동기 및 목표

• 시각 자극 복원에 있어 fMRI 데이터의 노이즈와 희소성 문제를 해결한다.
• 다변량 패턴 분석(MVP)에서 수동으로 정의된 영역의 관심 영역(ROIs)의 한계를 극복하기 위해 자동으로 자극에 특화된 ROI 탐지를 가능하게 한다.
• 전체 fMRI 시간 시리즈가 아닌 시간 스냅샷을 분석하여 계산 복잡도를 낮추고 모델의 강건성을 향상시킨다.
• 보기 단위 패턴이 아닌 해부학적 영역 수준의 기능적 활동 표현을 제공함으로써 신경과학자들이 모델을 더 쉽게 이해할 수 있도록 한다.
• 비용이 많이 들지 않는 정규화 없이 이질적인 fMRI 데이터 세트를 통합할 수 있도록 하여 뇌 연구의 비용을 줄이고 연구의 강건성을 높인다.

제안 방법

• 부드러운 설계 행렬에서 局부 최대값을 식별하여 각 시각 자극에 대한 뇌 활동의 시간 스냅샷을 추출함으로써 피크 반응 시점의 신경 활동을 표현한다.
• fMRI 데이터를 표준 공간으로 변환하고, 자동으로 탐지된 해부학적 영역으로 각 스냅샷을 분할하여 동적이고 자극에 특화된 ROI를 정의한다.
• 신뢰할 수 있는 기능 신호 무결성을 유지하면서도 복셀 노이즈를 줄이기 위해 새로운 ROI 수준의 가우시안 스무딩 방법을 적용한다.
• ROI 수준에서의 이진 분류를 위해 L1-정규화된 서포트 벡터 머신(SVM)을 사용하여 희소성과 특징 선택을 보장한다.
• 개별 ROI 수준의 분류기를 백킹 앙상블 방법을 통해 통합하여 강력한 다변량 패턴(MVP) 분류기를 구축한다.
• 다양한 데이터 세트(DS105, DS107, DS117)와 통합 데이터에서 성능을 평가하기 위해 참가자 수준에서 떼어내기 교차검증을 수행한다.

실험 결과

연구 질문

• RQ1 전체 fMRI 시간 시리즈 대신 뇌 활동의 스냅샷을 사용하는 모델이 복원 성능 향상과 희소성 감소에 기여하는가?
• RQ2 자동으로 탐지된 자극에 특화된 ROI 탐지가 MVP 기반의 시각 자극 복원에서 수동으로 선택된 ROI보다 우수한 성능을 내는가?
• RQ3 ROI 수준의 가우시안 스무딩이 복셀 수준 또는 표준 스무딩보다 노이즈 감소와 분류 정확도 향상에 효과적인가?
• RQ4 정규화 없이도 이질적인 fMRI 데이터 세트를 효과적으로 통합할 수 있는가? 이는 연구 비용 감소와 강건성 향상에 기여하는가?
• RQ5 다중 영역 신경 표현 모델이 특정 해부학적 뇌 영역과 자극 효과를 연결함으로써 신경과학자들에게 얼마나 높은 해석 가능성을 제공하는가?

주요 결과

• 제안된 방법은 단어, 자음, 물체, 무의미한 사진의 네 가지 시각 카테고리 전반에서 최신 기술(SVM, Graph Net, Elastic Net, L1-정규화된 SVM 포함)을 능가하는 뛰어난 분류 정확도와 AUC 성능을 달성했다.
• 모든 데이터 세트(DS105, DS107, DS117)를 통합했을 때 제안된 방법은 높은 성능를 유지했지만, 다른 방법들은 정규화 과정에서 발생하는 문제로 인해 성능가 심각하게 저하되었다.
• 스냅샷 기반의 신경 표현을 사용함으로써 데이터의 희소성과 계산 복잡도가 감소하여 학습 속도 향상과 저장 공간 요구량 감소를 이끌었다.
• ROI 수준의 가우시안 스무딩은 노이즈를 효과적으로 줄였고, 기능 신호를 유지함으로써 모델의 강건성과 정확도 향상에 기여했다.
• 자동으로 탐지된 해부학적 영역에 대한 자극 효과의 시각화가 가능해져 신경과학자들이 자극과 뇌 영역 활동 간의 관계를 더 명확히 이해할 수 있도록 했다.
• 이 프레임워크는 뛰어난 일반화 및 확장성을 보였으며, 다양한 참가자와 자극에 걸쳐 여러 fMRI 데이터 세트를 통합할 경우 일관된 성능 향상이 이루어졌다.