[논문 리뷰] Locality and low-dimensions in the prediction of natural experience from fMRI

François G. Meyer, Greg J. Stephens|ArXiv.org|2007. 12. 07.

Functional Brain Connectivity Studies참고 문헌 6인용 수 3

한 줄 요약

이 논문은 fMRI 데이터로부터 복잡한 자연적 경험을 복원하기 위해 국소성 인식 기반의 저차원 선형 모델을 제안한다. 영역별 fMRI 시간 시리즈에서 상관관계가 없는 성분을 추출함으로써 높은 예측 정확도를 달성하였으며, 특히 감각적 및 언어적 자극에서 최대 0.8의 상관계수를 기록하였다. 이는 전반적인 비선형 및 선형 방법보다 핵심 케이스에서 슈퍼어리어를 유지하면서도 해석 가능성을 확보한 바이다.

ABSTRACT

Functional Magnetic Resonance Imaging (fMRI) provides dynamical access into the complex functioning of the human brain, detailing the hemodynamic activity of thousands of voxels during hundreds of sequential time points. One approach towards illuminating the connection between fMRI and cognitive function is through decoding; how do the time series of voxel activities combine to provide information about internal and external experience? Here we seek models of fMRI decoding which are balanced between the simplicity of their interpretation and the effectiveness of their prediction. We use signals from a subject immersed in virtual reality to compare global and local methods of prediction applying both linear and nonlinear techniques of dimensionality reduction. We find that the prediction of complex stimuli is remarkably low-dimensional, saturating with less than 100 features. In particular, we build effective models based on the decorrelated components of cognitive activity in the classically-defined Brodmann areas. For some of the stimuli, the top predictive areas were surprisingly transparent, including Wernicke's area for verbal instructions, visual cortex for facial and body features, and visual-temporal regions for velocity. Direct sensory experience resulted in the most robust predictions, with the highest correlation ($c \sim 0.8$) between the predicted and experienced time series of verbal instructions. Techniques based on non-linear dimensionality reduction (Laplacian eigenmaps) performed similarly. The interpretability and relative simplicity of our approach provides a conceptual basis upon which to build more sophisticated techniques for fMRI decoding and offers a window into cognitive function during dynamic, natural experience.

연구 동기 및 목표

• 해석 가능성과 정확성의 균형을 이루는 복잡한 자연주의적 인지 경험을 fMRI 데이터로 예측하는 모델을 개발한다.
• 자연 자극에 대한 뇌 활동이 저차원 공간에서 효과적으로 표현될 수 있는지 조사한다.
• 다양한 자극을 예측하는 데 있어 국소적(영역별)과 전반적(전뇌) 해석 방법의 성능를 평가한다.
• 해부학적으로 정의된 브롬만 영역이 fMRI 복원에 있어 원칙적이고 해석 가능한 기초를 제공하는지 확인한다.
• 예를 들어 라플라시안 고유사상 등 선형 및 비선형 차원 감소 기법을 비교하여 자연 경험 동안의 동적 뇌 상태를 모델링하는 데에 활용한다.

제안 방법

• 가상현실 노출 중 35,000체소, 704개 시간 포인트 동안의 fMRI 시간 시리즈를 사용하며, 감각, 정서, 인지 상태를 포함한 25개 자극 특징을 포함한다.
• 사전 정의된 브롬만 영역 내에서 fMRI 데이터의 저차원 표현을 추출하기 위해 선형 차원 감소(주성분 분석) 및 비선형 방법(Laplacian eigenmaps)을 적용한다.
• 각 자극에 대해 특징과 가장 높은 학습 상관계수를 보인 브롬만 영역을 식별한 후, 해당 영역의 상위 n개 주성분(또는 라플라시안 모드)을 예측 변수로 사용한다.
• 통합 모델은 각 자극에 대해 상위 3개의 브롬만 영역을 통합하여, 그 저차원 모드의 가중 선형 조합을 사용해 예측 정확도를 향상시킨다.
• 모델은 첫 1,408개 시간 포인트에서 학습하고 마지막 704개 시간 포인트에서 테스트하며, 예측된 시간 시리즈와 실제 시간 시리즈 간의 상관계수로 성능을 측정한다.
• 모델은 특히 워니케의 영역 등 전통적인 신경해부학적 영역에 기반하여 예측의 해석 가능성을 강조한다.

실험 결과

연구 질문

• RQ1 fMRI 활동의 저차원적이고 국소적인 표현이 복잡한 자연주의적 자극을 높은 정확도로 예측할 수 있는가?
• RQ2 전반적인 뇌 영역 모델에 비해 해부학적으로 정의된 브롬만 영역이 fMRI 복원에 더 해석 가능하고 효과적인 기초를 제공하는가?
• RQ3 자연 경험 동안 뇌 상태의 역학을 포괄하는 데 있어 선형 및 비선형 차원 감소 기법은 어떻게 비교되는가?
• RQ4 특정 유형의 자극(예: 언어적 지시, 얼굴, 속도, 공포)에 대해 가장 예측력이 높은 뇌 영역은 무엇인가?
• RQ5 예측 성능이 소수의 특징으로 포화되는 정도는 뇌 반응의 내재적 저차원성을 시사하는가?

주요 결과

• 복잡한 자극의 예측은 놀랄 만큼 저차원적이며, 100개 이하의 특징으로 성능가 포화된다.
• 언어적 지시에 대해서는 예측된 시간 시리즈와 실제 시간 시리즈 간 상관계수가 약 0.8을 기록하였으며, 모든 자극 중에서 가장 높았다.
• 청각적 지시에 대해 워니케의 영역(Brodmann Area 22)이 최상위 예측 영역이었으며, 언어 처리 기능과 일치한다.
• 얼굴 및 신체 특징 탐지에 대해 시각 피질(Brodmann Areas 17 및 19)이 가장 예측력이 높았으며, 알려진 시각 처리 기능과 일치한다.
• 운동/속도 예측에 대해 Brodmann Area 7이 최상위 영역이었으며, 시각운동 통합 기능과 일치한다.
• 라플라시안 고유사상에 의한 비선형 차원 감소 기법은 선형 방법과 유사한 성능를 보였으며, 공포와 같은 주관적 정서 상태의 예측에도 성공했으며, 최상위 예측은 전두엽 피질(Brodmann Area 11)에서 유래하였다.