[論文レビュー] BrainCast: A Spatio-Temporal Forecasting Model for Whole-Brain fMRI Time Series Prediction

Yunlong Gao, Jinbo Yang+6 more|arXiv (Cornell University)|Mar 9, 2026

Functional Brain Connectivity Studies被引用数 0

ひとこと要約

BrainCast は ROI 間の空間的相互作用と ROI 内の時系列動態 を同時にモデル化して全脳 fMRI 時系列を予測し、ベースラインより予測精度を向上させ、下流の認知能力予測を向上させる。

ABSTRACT

Functional magnetic resonance imaging (fMRI) enables noninvasive investigation of brain function, while short clinical scan durations, arising from human and non-human factors, usually lead to reduced data quality and limited statistical power for neuroimaging research. In this paper, we propose BrainCast, a novel spatio-temporal forecasting framework specifically tailored for whole-brain fMRI time series forecasting, to extend informative fMRI time series without additional data acquisition. It formulates fMRI time series forecasting as a multivariate time series prediction task and jointly models temporal dynamics within regions of interest (ROIs) and spatial interactions across ROIs. Specifically, BrainCast integrates a Spatial Interaction Awareness module to characterize inter-ROI dependencies via embedding every ROI time series as a token, a Temporal Feature Refinement module to capture intrinsic neural dynamics within each ROI by enhancing both low- and high-energy temporal components of fMRI time series at the ROI level, and a Spatio-temporal Pattern Alignment module to combine spatial and temporal representations for producing informative whole-brain features. Experimental results on resting-state and task fMRI datasets from the Human Connectome Project demonstrate the superiority of BrainCast over state-of-the-art time series forecasting baselines. Moreover, fMRI time series extended by BrainCast improve downstream cognitive ability prediction, highlighting the clinical and neuroscientific impact brought by whole-brain fMRI time series forecasting in scenarios with restricted scan durations.

研究の動機と目的

• データ取得が制限されている場合でも全脳 fMRI 時系列の拡張と予測を動機づける。
• ROI ごとの multivariate time series予測問題として fMRI 予測を定式化する。
• ROI 間の空間的依存と ROI 内の時系列動態を共同でモデル化する。
• 予測に有用な全脳特徴を生成する統一アーキテクチャ（SIA、TFR、SPA）を開発する。

提案手法

• 各 ROI の時系列を共有 MLP によるトークンとして埋め込み X_E を R^{N×D} で形成する。
• SIAformer 層と Fourier Analysis Network、自己注意、FFN を用いて ROI 間の依存性を学習し H^{spat} を生成する。
• Amplifier を Temporal Feature Refinement モジュールとして適用し、時系列スペクトルのエネルギーを均等化・分解して低エネルギー成分と高エネルギー成分を捉え H^{temp} を形成する。
• Spatio-temporal Pattern Alignment により空間表現と時間表現を整列させて H^{global} を得る。
• H^{global} から X̂_F への線形予測ヘッドで将来の fMRI 時系列を予測し、MSE 損失で最適化する。

実験結果

リサーチクエスチョン

• RQ1 全脳 fMRI 時系列予測は短いスキャン時間でデータ品質を改善できるか？
• RQ2 空間的 ROI 間相互作用と ROI 内時系列動態をどのように共同モデリングして正確な予測を実現するか？
• RQ3 時空間表現は fMRI データが限定的な場合に下流の認知能力予測を改善するか？
• RQ4 各モジュール（SIA、TFR、SPA）の予測性能への寄与はどれくらいか？

主な発見

Dataset	Metric	Ours	iTransformer	DLinear	Amplifier	PatchTST	CrossFormer	FourierGNN	LSTM	R	R2
HCP-rs-fMRI	MSE (lower is better)	0.380 (0.004)	0.398 (0.002)	0.529 (0.012)	0.407 (0.006)	0.394 (0.003)	0.417 (0.001)	0.562 (0.005)	0.592 (0.006)	-	-	-
HCP-rs-fMRI	MAE (lower is better)	0.461 (0.004)	0.478 (0.002)	0.562 (0.009)	0.481 (0.005)	0.473 (0.004)	0.488 (0.003)	0.580 (0.004)	0.597 (0.008)	-	-	-
HCP-rs-fMRI	R (higher is better)	0.665 (0.002)	0.631 (0.001)	0.446 (0.013)	0.627 (0.006)	0.635 (0.003)	0.628 (0.004)	0.432 (0.002)	0.355 (0.008)	-	-	-
HCP-rs-fMRI	R² (higher is better)	0.438 (0.003)	0.397 (0.003)	0.199 (0.011)	0.390 (0.003)	0.402 (0.005)	0.396 (0.006)	0.187 (0.003)	0.120 (0.007)	-	-	-
HCP-t-fMRI	MSE (lower is better)	0.435 (0.004)	0.488 (0.004)	0.633 (0.005)	0.460 (0.009)	0.485 (0.006)	0.480 (0.010)	0.705 (0.007)	0.681 (0.005)	-	-	-
HCP-t-fMRI	MAE (lower is better)	0.484 (0.006)	0.501 (0.002)	0.587 (0.007)	0.514 (0.015)	0.501 (0.003)	0.496 (0.008)	0.621 (0.005)	0.609 (0.010)	-	-	-
HCP-t-fMRI	R (higher is better)	0.595 (0.003)	0.583 (0.005)	0.376 (0.004)	0.582 (0.021)	0.586 (0.005)	0.589 (0.017)	0.208 (0.009)	0.292 (0.007)	-	-	-
HCP-t-fMRI	R² (higher is better)	0.351 (0.004)	0.338 (0.002)	0.142 (0.003)	0.333 (0.018)	0.341 (0.008)	0.347 (0.013)	0.043 (0.004)	0.076 (0.002)	-	-	-

• BrainCast は HCP resting-state および task fMRI データセットの複数の指標で最先端のベースラインを上回る。
• BrainCast で fMRI 時系列を拡張すると認知能力予測が改善される。
• アブレーションにより三つのモジュール（SIA、TFR、SPA）が性能に寄与し、特に TFR が個別の影響が最大である。
• 視覚化された皮質注意マップは、休息時と課題時で意味のある、タスク依存的な空間パターンおよび半球差を示す。
• Transformer ベースのベースラインは一般に RNN/LSTM や一部の GNN ベースラインよりもこのタスクで優れている。