[논문 리뷰] BrainCast: A Spatio-Temporal Forecasting Model for Whole-Brain fMRI Time Series Prediction

Yunlong Gao, Jinbo Yang외 6명|arXiv (Cornell University)|2026. 03. 09.

Functional Brain Connectivity Studies인용 수 0

한 줄 요약

BrainCast는 ROI 간 공간 상호작용과 ROI 내 시간적 역학을 함께 모델링하여 전체 뇌 fMRI 시계열을 예측하고, baseline보다 예측 정확도를 향상시키며 다운스트림 인지 능력 예측을 향상시킨다.

ABSTRACT

Functional magnetic resonance imaging (fMRI) enables noninvasive investigation of brain function, while short clinical scan durations, arising from human and non-human factors, usually lead to reduced data quality and limited statistical power for neuroimaging research. In this paper, we propose BrainCast, a novel spatio-temporal forecasting framework specifically tailored for whole-brain fMRI time series forecasting, to extend informative fMRI time series without additional data acquisition. It formulates fMRI time series forecasting as a multivariate time series prediction task and jointly models temporal dynamics within regions of interest (ROIs) and spatial interactions across ROIs. Specifically, BrainCast integrates a Spatial Interaction Awareness module to characterize inter-ROI dependencies via embedding every ROI time series as a token, a Temporal Feature Refinement module to capture intrinsic neural dynamics within each ROI by enhancing both low- and high-energy temporal components of fMRI time series at the ROI level, and a Spatio-temporal Pattern Alignment module to combine spatial and temporal representations for producing informative whole-brain features. Experimental results on resting-state and task fMRI datasets from the Human Connectome Project demonstrate the superiority of BrainCast over state-of-the-art time series forecasting baselines. Moreover, fMRI time series extended by BrainCast improve downstream cognitive ability prediction, highlighting the clinical and neuroscientific impact brought by whole-brain fMRI time series forecasting in scenarios with restricted scan durations.

연구 동기 및 목표

• 데이터 수집이 제한될 때 전체 뇌 fMRI 시계열을 확장하고 예측하는 것을 동기화한다.
• ROI들 간 다변량 시계열 예측 문제로서 fMRI 예측을 형식화한다.
• ROI 간 공간 의존성과 ROI 내 시간적 역학을 함께 모델링한다.
• 예측을 위한 정보-rich 전체 뇌 특징을 생성하기 위해 통합 아키텍처(SIA, TFR, SPA)를 개발한다.

제안 방법

• 공유 MLP를 통해 각 ROI 시계열을 토큰으로 임베딩하여 R^{N×D}의 X_E를 형성한다.
• Fourier Analysis Network, self-attention, FFN이 포함된 SIAformer 층을 사용하여 ROI 간 의존성을 학습하고 H^{spat}를 생성한다.
• Temporal Feature Refinement 모듈로 Amplifier를 적용하여 시간 스펙트럼의 에너지를 균일화하고 분해하며 저에너지 및 고에너지 성분을 포착하여 H^{temp}를 형성한다.
• Spatio-temporal Pattern Alignment를 통해 공간-시간 표현을 정렬하여 H^{global}를 얻는다.
• H^{global}에서 X̂_F로의 선형 예측헤드를 사용해 미래 fMRI 시계열을 예측하고 MSE 손실로 최적화한다.

실험 결과

연구 질문

• RQ1 전 뇌 fMRI 시계열 예측이 짧은 스캔 기간에서 데이터 품질을 향상시킬 수 있는가?
• RQ2 효과적인 예측을 위해 ROI 간 공간 상호작용과 ROI 내 시간적 역학을 어떻게 함께 모델링할 수 있는가?
• RQ3 공간-시간 표현이 fMRI 데이터가 제한될 때 다운스트림 인지 능력 예측을 향상시키는가?
• RQ4 예측 성능에 대한 각 모듈(SIA, TFR, SPA)의 기여도는 무엇인가?

주요 결과

• BrainCast는 HCP resting-state 및 task fMRI 데이터셋에서 여러 지표에 걸쳐 최첨단 baselines를 능가한다.
• BrainCast로 전체 뇌 fMRI 시계열을 확장하면 인지 능력 예측이 더 좋아진다.
• ABLATION 결과, 세 모듈(SIA, TFR, SPA) 모두 성능에 기여하며, TFR이 단독 영향이 가장 큰 것으로 나타난다.
• 시각화된 피질 주의 맵은 맥락에 따라 의미 있는 공간 패턴과 휴지상태와 작업 상태 간의 반구 차이를 보여준다.
• Transformer 기반 baselines가 일반적으로 이 작업에서 RNN/LSTM 및 일부 GNN baselines보다 우수하다.