[論文レビュー] Learning shared neural manifolds from multi-subject FMRI data

Jessie Huang, Erica L. Busch+7 more|arXiv (Cornell University)|Dec 22, 2021

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本稿では、個々の脳活動を共通の潜在空間に符号化することで、複数被験者のfMRIデータから共有された低次元多様体を学習する深層ニューラルネットワークMRMD-AEを提案する。複数のデコーダーを用いて被験者固有の特徴を保持することで、刺激分類性能を向上させるとともに、未観測データポイントのゼロショットマッピングと、ペairedデータを必要としない被験者間fMRI変換を可能にし、線形ベースラインおよびSRM や PHATE といった先行手法を上回る精度と整合性を達成する。

ABSTRACT

Functional magnetic resonance imaging (fMRI) is a notoriously noisy measurement of brain activity because of the large variations between individuals, signals marred by environmental differences during collection, and spatiotemporal averaging required by the measurement resolution. In addition, the data is extremely high dimensional, with the space of the activity typically having much lower intrinsic dimension. In order to understand the connection between stimuli of interest and brain activity, and analyze differences and commonalities between subjects, it becomes important to learn a meaningful embedding of the data that denoises, and reveals its intrinsic structure. Specifically, we assume that while noise varies significantly between individuals, true responses to stimuli will share common, low-dimensional features between subjects which are jointly discoverable. Similar approaches have been exploited previously but they have mainly used linear methods such as PCA and shared response modeling (SRM). In contrast, we propose a neural network called MRMD-AE (manifold-regularized multiple decoder, autoencoder), that learns a common embedding from multiple subjects in an experiment while retaining the ability to decode to individual raw fMRI signals. We show that our learned common space represents an extensible manifold (where new points not seen during training can be mapped), improves the classification accuracy of stimulus features of unseen timepoints, as well as improves cross-subject translation of fMRI signals. We believe this framework can be used for many downstream applications such as guided brain-computer interface (BCI) training in the future.

研究の動機と目的

• 被験者間の変動性と高ノイズなfMRIデータの課題に対処するため、個々の被験者間で共通する神経応答を捉える共有された低次元潜在空間を学習すること。
• 共有された神経パターンと被験者固有のノイズを分離することで、fMRIデータからの刺激分類を強固にすること。
• 未観測の時間ポイントを共有潜在空間にマッピングできる拡張可能な多様体を学習することで、ゼロショット一般化を支援すること。
• ペアドデータを必要とせず、1人の被験者の脳活動から別の被験者の脳活動を予測できるように、被験者間fMRI信号変換を促進すること。
• PCA や SRM といった線形手法を凌駕するため、共有および被験者特異的コンponentを有する非線形で多様体正則化付きの深層オートエンコーダーを活用すること。

提案手法

• モデルは、複数被験者のfMRIデータを共通の低次元潜在空間にマップする共有エンコーダーを用い、共通の刺激関連特徴を保持するとともに、個々のノイズをフィルタリングする。
• 個々の被験者に特化した複数のデコーダーを採用し、共有潜在表現から個々のfMRI信号を再構成することで、共有成分と個別成分の分離を可能にする。
• 神経活動の内在的幾何構造を保つために、PHATEに基づく損失を用いた多様体正則化をフレームワークに組み込む。
• 潜在空間の構造的類似性を強制するため、共有空間における被験者間の類似性を高めるための潜在空間アライメントペナルティ（λ > 0）を導入し、バッチ効果を低減する。
• 訓練中に翻訳損失を適用することで、被験者間信号変換の最適化を明示的に行い、ゼロショット設定での性能を向上させる。
• 再構成損失、多様体正則化、およびアライメント／翻訳ペナルティをバランスさせる組み合わせ損失関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 共有および被験者特異的コンponentを有する深層オートエンコーダーは、線形手法を上回る性能で、刺激分類を向上させる共通神経多様体を学習できるか？
• RQ2 共有潜在空間は、未観測のfMRI時間ポイントのゼロショットマッピングを可能にし、新たなデータへの一般化を実現できるか？
• RQ3 多様体正則化と潜在空間アライメントが、被験者間fMRI信号変換にどの程度向上効果をもたらすか？
• RQ4 MRMD-AEの性能は、線形ベースライン（例：PCA, SRM）および非線形手法（例：PHATE）と比較して、分類および変換タスクでどのように差がつくか？
• RQ5 ペアドデータを明示的に必要とせず、共有刺激応答のみを活用して、被験者間変換を学習可能か？

主な発見

• MRMD-AEは、未観測時間ポイントでの分類精度が 0.5837 ± 0.0209 を達成し、次に優れた手法（AE：0.5613 ± 0.0220）を上回った。
• モデルは優れた被験者間変換を示し、潜在空間アライメント（λ > 0）を用いた場合、視覚野の早期領域（early-visual ROI）で平均二乗誤差（MSE）が 0.1933、相関係数が 1.3626 を記録し、未学習ベースラインを上回った。
• 明示的な翻訳損失を適用した場合、MRMD-AEはpmc領域で最小の翻訳MSE（0.1647）を達成し、SRM や PCA でさえも上回った。
• PHATE可視化により、共有潜在空間が生のfMRIデータと比較してバッチ効果を顕著に低減していることが確認され、アライメントペナルティλが増加するにつれて、エアス・モーバイル距離（EMD）が減少した。
• 共有潜在空間により、再トレーニングなしに新しい未観測データポイントを共通表現にマッピングできる拡張可能な多様体学習が可能となった。
• 潜在空間アライメントペナルティ（λ > 0）の導入により、分類および変換性能が向上し、共有空間における構造的不変性の重要性が示された。