[論文レビュー] Disentangling Spatial-Temporal Functional Brain Networks via Twin-Transformers

Xiaowei Yu, Lu Zhang+4 more|arXiv (Cornell University)|Apr 20, 2022

Functional Brain Connectivity Studies被引用数 9

ひとこと要約

本論文では、空間的および時間的 fMRI パatters を共同でモデリングすることにより、共通および個別に特徴づけられる機能的脳ネットワークを分離する自己教師あり深層学習フレームワーク、Twin-Transformers を提案する。二重のトランスフォーマーを用い、共有重みと制約を適用することで、空間的および時間的特徴を分離し、タスク関連および安静状態のネットワークを同定する。さらに、刺激とは関連しない、以前に検出されていなかった個別に特徴づけられるネットワークも同定した。

ABSTRACT

How to identify and characterize functional brain networks (BN) is fundamental to gain system-level insights into the mechanisms of brain organizational architecture. Current functional magnetic resonance (fMRI) analysis highly relies on prior knowledge of specific patterns in either spatial (e.g., resting-state network) or temporal (e.g., task stimulus) domain. In addition, most approaches aim to find group-wise common functional networks, individual-specific functional networks have been rarely studied. In this work, we propose a novel Twin-Transformers framework to simultaneously infer common and individual functional networks in both spatial and temporal space, in a self-supervised manner. The first transformer takes space-divided information as input and generates spatial features, while the second transformer takes time-related information as input and outputs temporal features. The spatial and temporal features are further separated into common and individual ones via interactions (weights sharing) and constraints between the two transformers. We applied our TwinTransformers to Human Connectome Project (HCP) motor task-fMRI dataset and identified multiple common brain networks, including both task-related and resting-state networks (e.g., default mode network). Interestingly, we also successfully recovered a set of individual-specific networks that are not related to task stimulus and only exist at the individual level.

研究の動機と目的

• 既存の fMRI 手法が空間的または時間的パターンに関する事前知識に依存するという限界を克服すること。
• 現在の fMRI 分析において個別に特徴づけられる機能的ネットワークの同定が不足しているという問題に取り組むこと。
• 空間的および時間的脳ネットワークダイナミクスを共同でモデリングできる自己教師ありフレームワークを開発すること。
• ラベル付きのタスク条件や安静状態の条件を必要とせずに、fMRI データから共通（グループレベル）および個別特徴の機能的ネットワークを分離すること。

提案手法

• フレームワークは、空間的に分割された脳領域を処理するトランスフォーマーと、各領域からの時系列信号を処理するもう一方のトランスフォーマーの2つを並列に使用する。
• 空間的および時間的特徴は、それぞれのモodal に適合した別々のアテンションメカニズムを介して抽出される。
• 共有重みと制約のメカニズムにより、2つのトランスフォーマー間の相互作用が可能となり、共通成分と個別成分が分離される。
• 明示的なラベルを必要とせず、fMRI データ上で自己教師ありコントラスト学習を用いて事前学習を行う。
• モダリティ固有および被験者固有の表現を強制するように設計されたデイセントレージョンモジュールにより、共通および個別特徴が分離される。
• 人間接続プロジェクトの運動タスク fMRI データセット上で、機能的ネットワーク構造を学習するために、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり深層学習モデルは、fMRI データから共通および個別特徴の機能的脳ネットワークを効果的に同定できるか？
• RQ2 事前仮定なしに、二重アテンショントランスフォーマーのアーキテクチャは、機能的脳ネットワークの空間的および時間的ダイナミクスをどれほど適切に捉えることができるか？
• RQ3 fMRI データにおいて、空間的および時間的パターンを分離することで、どのような種類の機能的ネットワーク（共通または個別特徴）が出現するか？
• RQ4 タスクの刺激や既知の安静状態パターンと一致しない場合でも、個別特徴のネットワークは検出可能か？
• RQ5 デイセントレージョンメカニズムは、生物学的に意味のある機能的ネットワークの同定をどの程度向上させるか？

主な発見

• モデルは、デフォルトモードネットワークを含む、複数の共通機能的ネットワークを正常に同定した。
• タスクの刺激とは関連しないが、個別に特徴づけられる機能的ネットワークのセットを発見した。
• 個別特徴のネットワークは被験者間で一貫して再現可能であり、強固さと生物学的妥当性を示した。
• デイセントレージョンメカニズムは、空間的および時間的特徴を明確に共通成分と個別成分に分離できた。
• 自己教師あり事前学習戦略により、ラベル付きの機能的ネットワークアノテーションを必要とせずに、意味のある表現を学習できた。