[논문 리뷰] Learning shared neural manifolds from multi-subject FMRI data

Jessie Huang, Erica L. Busch외 7명|arXiv (Cornell University)|2021. 12. 22.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 다중 피실험자 fMRI 데이터로부터 공통의 저차원 다양체를 학습하는 딥 뉴럴 네트워크인 MRMD-AE를 제안한다. 이는 개별 뇌 활동을 공통 잠재 공간에 인코딩하면서도, 다수의 디코더를 통해 개인별 특징을 유지한다. 이 방법은 자극 분류 성능을 향상시키며, 미리보지 않은 데이터 포인트에 대한 제로샷 매핑을 가능하게 하고, 선형 기반 방법과 이전의 방법들인 SRM 및 PHATE를 뛰어넘는 정확도와 정렬 성능을 보여준다.

ABSTRACT

Functional magnetic resonance imaging (fMRI) is a notoriously noisy measurement of brain activity because of the large variations between individuals, signals marred by environmental differences during collection, and spatiotemporal averaging required by the measurement resolution. In addition, the data is extremely high dimensional, with the space of the activity typically having much lower intrinsic dimension. In order to understand the connection between stimuli of interest and brain activity, and analyze differences and commonalities between subjects, it becomes important to learn a meaningful embedding of the data that denoises, and reveals its intrinsic structure. Specifically, we assume that while noise varies significantly between individuals, true responses to stimuli will share common, low-dimensional features between subjects which are jointly discoverable. Similar approaches have been exploited previously but they have mainly used linear methods such as PCA and shared response modeling (SRM). In contrast, we propose a neural network called MRMD-AE (manifold-regularized multiple decoder, autoencoder), that learns a common embedding from multiple subjects in an experiment while retaining the ability to decode to individual raw fMRI signals. We show that our learned common space represents an extensible manifold (where new points not seen during training can be mapped), improves the classification accuracy of stimulus features of unseen timepoints, as well as improves cross-subject translation of fMRI signals. We believe this framework can be used for many downstream applications such as guided brain-computer interface (BCI) training in the future.

연구 동기 및 목표

• 다양한 피실험자 간의 고소음 및 변동성을 고려하여, 개인 간 공통 신경 반응을 캡처하는 공통의 저차원 잠재 공간을 학습하는 것.
• 공통 신경 패턴과 개인별 노이즈를 분리함으로써 fMRI 데이터로부터 자극의 강건한 분류를 가능하게 하는 것.
• 이전에 보지 못한 시간 포인트를 공통 잠재 공간에 매핑할 수 있도록 확장 가능한 다양체를 학습함으로써 제로샷 일반화를 지원하는 것.
• 쌍체 데이터가 필요 없이 한 피실험자의 뇌 활동을 다른 피실험자의 것으로 예측할 수 있도록 교차 피실험자 fMRI 신호 번역을 촉진하는 것.
• PCA 및 SRM과 같은 선형 방법을 뛰어넘기 위해 공통 및 피실험자별 구성 요소를 갖춘 비선형, 다양체 정규화 딥 오토에인서를 활용함으로써 성능을 향상시키는 것.

제안 방법

• 모델은 다중 피실험자 fMRI 데이터를 공통 저차원 잠재 공간으로 매핑하는 공통 인코더를 사용하여, 공통 자극 관련 특징을 유지하면서도 개인별 노이즈를 제거한다.
• 개별 fMRI 신호를 공통 잠재 표현에서 재구성하기 위해 다수의 피실험자별 디코더를 활용함으로써 공통 및 개인 구성 요소의 분리가 가능해진다.
• 신경 활동의 내재 기하학을 유지하기 위해 PHATE 기반 손실을 통한 다양체 정규화를 프레임워크에 통합한다.
• 공통 공간 내에서 피실험자 간의 구조적 유사성을 강제하기 위해 잠재 공간 정렬 페널티(λ > 0)를 도입하여 배치 효과를 감소시킨다.
• 학습 중에 교차 피실험자 신호 번역을 명시적으로 최적화하기 위해 번역 손실을 적용함으로써 제로샷 설정에서의 성능을 향상시킨다.
• 재구성, 다양체 정규화, 정렬/번역 페널티를 균형 잡는 복합 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 공통 및 피실험자별 구성 요소를 갖춘 딥 오토에인서가 선형 방법을 뛰어넘는 자극 분류 성능을 향상시키는 공통 신경 다양체를 학습할 수 있는가?
• RQ2 공통 잠재 공간이 새로운, 보지 못한 fMRI 시간 포인트의 제로샷 매핑을 지원하여 새로운 데이터에 대한 일반화를 가능하게 하는가?
• RQ3 다양체 정규화 및 잠재 공간 정렬이 교차 피실험자 fMRI 신호 번역에 얼마나 기여하는가?
• RQ4 MRMD-AE의 성능는 선형 기반 기준(예: PCA, SRM) 및 비선형 방법(예: PHATE)과 비교하여 분류 및 번역 작업에서 어떻게 나타나는가?
• RQ5 쌍체 데이터 없이도 공통 자극 반응만을 활용하여 교차 피실험자 번역을 수행할 수 있도록 모델을 훈련시킬 수 있는가?

주요 결과

• MRMD-AE는 미리보지 않은 시간 포인트에서 0.5837 ± 0.0209의 분류 정확도를 기록하여, 다음으로 성능이 뛰어난 방법(AE)의 0.5613 ± 0.0220을 능가했다.
• 모델은 교차 피실험자 번역에서 뛰어난 성능을 보였으며, 잠재 공간 정렬(λ > 0)을 사용할 경우 초기 시각 영역(ROI)에서 평균 제곱 오차(MSE) 0.1933과 상관계수 1.3626을 기록하여 훈련되지 않은 기반 방법을 능가했다.
• 명시적 번역 손실을 적용한 결과, MRMD-AE는 pmc ROI에서 번역 MSE 0.1647을 기록하여, 심지어 SRM 및 PCA보다도 성능이 뛰어났다.
• PHATE 시각화 결과, 공통 잠재 공간이 원시 fMRI 데이터에 비해 배치 효과를 크게 감소시켰으며, 정렬 페널티 λ가 증가할수록 지구 이동 거리(EMD)가 감소함을 확인했다.
• 공통 잠재 공간은 확장 가능한 다양체 학습을 가능하게 하여, 재학습 없이도 새로운, 보지 못한 데이터 포인트를 공통 표현으로 매핑할 수 있도록 했다.
• 잠재 공간 정렬 페널티(λ > 0)를 통합함으로써 분류 및 번역 성능가 모두 향상되었으며, 이는 공통 공간 내에서의 구조적 불변성이 중요한 역할을 한다는 것을 입증했다.