[論文レビュー] Self-Supervised Learning of Brain Dynamics from Broad Neuroimaging Data

Armin W. Thomas, Christopher Ré+1 more|arXiv (Cornell University)|Jun 22, 2022

Functional Brain Connectivity Studies被引用数 19

ひとこと要約

本論文は、自然言語処理（NLP）技術にインspiredされた、神経画像データのための新規自己教師あり学習フレームワークを提案する。脳活動の時系列をテキストに類似した時系列としてモデル化し、一般化可能な表現を学習する。34のデータセット、1,726人の被験者からなる11,980件のfMRI走行データを事前学習することで、スクラッチからの学習ベースラインを著しく上回る精神状態の復元性能を達成した。特に因果的時系列モデリング（CSM）が最も優れた性能を示した。

ABSTRACT

Self-supervised learning techniques are celebrating immense success in natural language processing (NLP) by enabling models to learn from broad language data at unprecedented scales. Here, we aim to leverage the success of these techniques for mental state decoding, where researchers aim to identify specific mental states (e.g., the experience of anger or joy) from brain activity. To this end, we devise a set of novel self-supervised learning frameworks for neuroimaging data inspired by prominent learning frameworks in NLP. At their core, these frameworks learn the dynamics of brain activity by modeling sequences of activity akin to how sequences of text are modeled in NLP. We evaluate the frameworks by pre-training models on a broad neuroimaging dataset spanning functional Magnetic Resonance Imaging data from 11,980 experimental runs of 1,726 individuals across 34 datasets, and subsequently adapting the pre-trained models to benchmark mental state decoding datasets. The pre-trained models transfer well, generally outperforming baseline models trained from scratch, while models trained in a learning framework based on causal language modeling clearly outperform the others.

研究の動機と目的

• fMRIを用いた精神状態の復元において、サンプル数が少なく次元が高いため、スクラッチからの学習で過学習が生じるという課題に対処すること。
• 過去の事前学習アプローチに見られる、均質なデータセットや標準化されていない精神状態ラベルを用いた教師ありタスクに依存する制限を克服すること。
• NLPで成功した自己教師あり学習フレームワーク（例えば、因果的言語モデリングやマスキング言語モデリング）を、脳活動を時系列表現としてモデル化することで神経画像データに適応すること。
• 広範かつ多様な神経画像データを用いた事前学習が、ベンチマークデータセットにおける下流の精神状態の復元性能を向上させるかどうかを評価すること。
• コード、データ、事前学習済みモデルを公開することで、再現可能性と今後の研究を促進すること。

提案手法

• fMRIの各時刻点を、機能的に独立した脳ネットワークの活動を符号化するベクトルとして表現し、NLPにおける単語埋め込みに類似させる。
• NLPにインspiredした3つの自己教師あり学習フレームワークを設計：シーケンス・ツー・シーケンスオートエンコーダ、因果的言語モデリング（CSM）、マスキング言語モデリング。
• 1,726人の被験者、34の多様なデータセット、複数の取得施設からなる大規模神経画像データセット（11,980件の実験走行）を用いて深層学習モデルを事前学習する。
• 標準的な分類ヘッドを用いて、2つのベンチマーク精神状態の復元データセット（HCPおよびMDTB）で事前学習済みモデルを微調整する。
• 自己注意機構とトランスフォーマー・アーキテクチャを用い、言語シーケンスをモデル化するトランスフォーマーと同様に、脳活動時系列の時間的依存関係をモデル化する。
• ランダムシードやデータ分割を変えて特徴量のアブレーション分析とモデル安定性分析を実施し、予測の堅牢性と解釈可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 NLPからインスパイされた自己教師あり学習フレームワークは、脳活動時系列を効果的にモデル化し、広範な神経画像データから一般化可能な表現を学習できるか？
• RQ2 均質でない大規模な神経画像データセットを事前学習することで、スクラッチからの学習に比べて下流の精神状態の復元性能が向上するか？
• RQ3 シーケンス・ツー・シーケンスオートエンコーダ、因果的言語モデリング、マスキング言語モデリングのうち、どの自己教師あり学習フレームワークが精神状態の復元において最良の転移性能を示すか？
• RQ4 事前学習済みモデルの復元意思決定は、特定の脳領域にどのように依存しているか？また、学習のバリエーションにわたってその意思決定は安定しているか？
• RQ5 異なる実験パラダイムや取得施設を有する多様なデータセット間で、事前学習済みモデルはどの程度一般化するか？

主な発見

• 因果的時系列モデリング（CSM）フレームワークは、下流の精神状態の復元において、他のすべての自己教師あり学習フレームワークを著しく上回り、全訓練データセットサイズで最高のテスト精度を達成した。
• すべての事前学習済みモデルがスクラッチからの学習ベースラインを上回り、訓練に用いた被験者の数が増えるほど性能向上が顕著に見られた。
• HCPデータセットにおいて、事前学習済みモデルはしばしば数百度もの被験者を学習に用いたモデルと同等のテスト復元精度を達成し、報告された精度は80%から93%の間であった。
• 特徴量アブレーション分析から、正確な復元意思決定は頭頂小葉および下頭頂小葉、および前頭中回・後頭中回の活動に強く依存していることが判明した。
• 複数のランダムシードやデータ分割に対してモデル性能が安定しており、結果の堅牢性と再現可能性が確認された。
• 本研究は、広範かつ匿名化された神経画像データを用いた自己教師あり事前学習により、最小限のラベル付きデータで高精度な精神状態の復元が可能であることを示した。これにより、大規模なデータ収集の必要性が低減された。