[논문 리뷰] Self-Supervised Learning of Brain Dynamics from Broad Neuroimaging Data

Armin W. Thomas, Christopher Ré외 1명|arXiv (Cornell University)|2022. 06. 22.

Functional Brain Connectivity Studies인용 수 19

한 줄 요약

이 논문은 신경영상 데이터를 위한 새로운 비지도 학습 프레임워크를 제안하며, 자연어처리(NLP) 기법들에서 영감을 얻어 뇌 활동 시계열을 텍스트 유사 시계열로 모델링하여 일반화 가능한 표현을 학습한다. 34개 데이터셋에서 1,726명의 개인으로부터 확보한 11,980개의 fMRI 실행 데이터를 기반으로 사전학습을 수행한 결과, 사전학습 없이 학습하는 기준 모델 대비 정신 상태 복원 성능이 뚜렷이 향상되었으며, 특히 인과적 시계열 모델링(CSM)이 가장 높은 성능을 보였다.

ABSTRACT

Self-supervised learning techniques are celebrating immense success in natural language processing (NLP) by enabling models to learn from broad language data at unprecedented scales. Here, we aim to leverage the success of these techniques for mental state decoding, where researchers aim to identify specific mental states (e.g., the experience of anger or joy) from brain activity. To this end, we devise a set of novel self-supervised learning frameworks for neuroimaging data inspired by prominent learning frameworks in NLP. At their core, these frameworks learn the dynamics of brain activity by modeling sequences of activity akin to how sequences of text are modeled in NLP. We evaluate the frameworks by pre-training models on a broad neuroimaging dataset spanning functional Magnetic Resonance Imaging data from 11,980 experimental runs of 1,726 individuals across 34 datasets, and subsequently adapting the pre-trained models to benchmark mental state decoding datasets. The pre-trained models transfer well, generally outperforming baseline models trained from scratch, while models trained in a learning framework based on causal language modeling clearly outperform the others.

연구 동기 및 목표

• fMRI 기반 정신 상태 복원에서 낮은 표본 크기와 높은 차원성으로 인해 발생하는 과적합 문제를 해결하기 위해, 사전학습 없이 학습하는 모델의 성능을 향상시키는 데 목적이 있다.
• 이전의 사전학습 접근법들이 동일한 데이터셋에 의존하거나 표준화되지 않은 정신 상태 레이블을 가진 지도 학습 과제에 의존하는 한계를 극복하기 위해 목적이 있다.
• 자연어처리에서 성공한 비지도 학습 프레임워크(예: 인과적 언어 모델링, 마스킹된 언어 모델링)를 뇌 활동을 순차적 표현으로 모델링함으로써 신경영상 데이터에 적응시키기 위해 목적이 있다.
• 광범위하고 이질적인 신경영상 데이터를 기반으로 사전학습을 수행할 경우, 벤치마크 데이터셋에서의 후속 정신 상태 복원 성능이 향상되는지 평가하기 위해 목적이 있다.
• 코드, 데이터, 사전학습된 모델를 공개함으로써 재현 가능성과 향후 연구를 가능하게 하기 위해 목적이 있다.

제안 방법

• 기능적으로 독립적인 뇌 네트워크의 활동을 코딩하는 벡터로 각 fMRI 시간 포인트를 표현하며, 이는 NLP에서의 워드 임베딩과 유사하다.
• NLP에서 영감을 얻어 세 가지 비지도 학습 프레임워크를 설계: 순서에서 순서로의 오토에코딩, 인과적 언어 모델링(CSM), 마스킹된 언어 모델링.
• 34개의 다양한 데이터셋과 여러 데이터 수집 현장에서 확보한 1,726명의 개인으로부터의 11,980개의 실험 실행을 포함하는 대규모 신경영상 데이터셋에서 딥러닝 모델을 사전학습한다.
• 표준 분류 헤드를 사용하여 사전학습된 모델을 두 가지 벤치마크 정신 상태 복원 데이터셋(HCP 및 MDTB)에서 미세조정한다.
• 어텐션 메커니즘과 트랜스포머 아키텍처를 활용해 뇌 활동 시계열의 시간적 의존성을 모델링하며, 이는 트랜스포머가 언어 시계열을 모델링하는 방식과 유사하다.
• 랜덤 시드와 데이터 분할에 따른 특성 제거 분석 및 모델 안정성 분석을 통해 예측의 강건성과 해석 가능성 검증

실험 결과

연구 질문

• RQ1 NLP에서의 비지도 학습 프레임워크는 뇌 활동 시계열을 효과적으로 모델링하고 광범위한 신경영상 데이터로부터 일반화 가능한 표현을 학습하는 데 적합한가?
• RQ2 동일한 데이터셋에서 사전학습을 수행할 경우, 사전학습 없이 학습하는 것에 비해 후속 정신 상태 복원 성능이 향상되는가?
• RQ3 순서에서 순서로의 오토에코딩, 인과적 언어 모델링, 마스킹된 언어 모델링 중 어느 비지도 학습 프레임워크가 정신 상태 복원에 가장 높은 전이 성능를 제공하는가?
• RQ4 사전학습된 모델의 복원 결정은 특정 뇌 영역에 어떻게 의존하는가? 이러한 결정은 학습 조건의 변화에 대해 안정적인가?
• RQ5 다양한 실험 설계 및 데이터 수집 현장이 포함된 이질적인 데이터셋 간에 사전학습된 모델의 일반화 능력은 어느 정도인가?

주요 결과

• 인과적 시계열 모델링(CSM) 프레임워크가 후속 정신 상태 복원에서 모든 다른 비지도 학습 프레임워크보다 뚜렷이 뛰어난 성능을 보였으며, 모든 학습 데이터셋 크기에서 최고의 테스트 정확도를 달성했다.
• 모든 사전학습된 모델이 사전학습 없이 학습한 기준 모델보다 뛰어난 성능를 보였으며, 학습에 사용된 개인 수가 증가할수록 성능 향상 폭이 커졌다.
• HCP 데이터셋에서 사전학습된 모델은 종종 수백 명의 개인을 대상으로 학습한 모델들과 유사한 테스트 복원 정확도를 기록했으며, 보고된 정확도는 80%에서 93% 사이였다.
• 특성 제거 분석 결과, 정확한 복원 결정은 후두엽 및 하부 측두피질, 그리고 전두엽 및 후두피질의 활동에 크게 의존하는 것으로 나타났다.
• 다양한 랜덤 시드와 데이터 분할에 걸쳐 성능가 안정적이었으며, 결과의 강건성과 재현 가능성을 확인했다.
• 본 연구는 광범위하고 익명화된 신경영상 데이터를 기반으로 한 비지도 사전학습이, 최소한의 레이블 데이터로도 높은 성능의 정신 상태 복원을 가능하게 하며, 대규모 데이터 수집의 필요성을 줄일 수 있음을 보여주었다.