[論文レビュー] Learning Dynamic Graph Representation of Brain Connectome with Spatio-Temporal Attention

Byung-Hoon Kim, Jong Chul Ye+1 more|arXiv (Cornell University)|May 27, 2021

Functional Brain Connectivity Studies参考文献 48被引用数 72

ひとこと要約

STAGINは時空間注意機構を用いて脳コネクトームの動的グラフ表現を学習し、HCP-Rest性別分類およびHCP-Taskタスクデコーディングで最先端の結果を達成する。

ABSTRACT

Functional connectivity (FC) between regions of the brain can be assessed by the degree of temporal correlation measured with functional neuroimaging modalities. Based on the fact that these connectivities build a network, graph-based approaches for analyzing the brain connectome have provided insights into the functions of the human brain. The development of graph neural networks (GNNs) capable of learning representation from graph structured data has led to increased interest in learning the graph representation of the brain connectome. Although recent attempts to apply GNN to the FC network have shown promising results, there is still a common limitation that they usually do not incorporate the dynamic characteristics of the FC network which fluctuates over time. In addition, a few studies that have attempted to use dynamic FC as an input for the GNN reported a reduction in performance compared to static FC methods, and did not provide temporal explainability. Here, we propose STAGIN, a method for learning dynamic graph representation of the brain connectome with spatio-temporal attention. Specifically, a temporal sequence of brain graphs is input to the STAGIN to obtain the dynamic graph representation, while novel READOUT functions and the Transformer encoder provide spatial and temporal explainability with attention, respectively. Experiments on the HCP-Rest and the HCP-Task datasets demonstrate exceptional performance of our proposed method. Analysis of the spatio-temporal attention also provide concurrent interpretation with the neuroscientific knowledge, which further validates our method. Code is available at https://github.com/egyptdj/stagin

研究の動機と目的

• 脳機能結合性（FC）の時間的動的表現を学習する動機づけ。
• 時間的ダイナミクスと空間的説明性を組み込んだグラフニューラルネットワークフレームワークの構築。
• 時間に対する注意機構による temporal explainability と、新規 READOUT モジュールによる spatial explainability の提供。
• HCP-Rest 性別分類および HCP-Task タスクデコーディングでの state-of-the-art 性能の実証。
• 時空間注意の神経科学的知識との関連を分析して解釈可能な洞察を提供。

提案手法

• スライディングウィンドウfMRIから動的FCグラフを構築し、ノード表現へ結合されたタイムスタンプ特徴を作成。
• 各時点のエンコーダとして Graph Isomorphism Network (GIN) を使用。
• グラフプーリング時の空間的注意を可能にする2つの注意ベースのREADOUT（GAROとSERO）を導入。
• 時点間の注意機構をモデル化するためにTransformerエンコーダを適用し、マルチレイヤーの出力を連結。
• ノード特徴に対する直交正則化を取り入れ、多様な基底表現を促進して表現力を向上。
• クロスエントロピー損失に小さな直交ペナルティを加え、1サイクル学習率ポリシーを用いてエンドツーエンドで訓練。

実験結果

リサーチクエスチョン

• RQ1 動的（時間変化する）FCグラフは静的FC法と比較して脳表現型の分類を改善できるか？
• RQ2 時空間注意機構は神経科学の知見と一致する解釈可能な洞察を提供するか？
• RQ3 時間エンコーディングとREADOUT注意が安静時性別予測とタスクデコーディングの分類精度にどのような影響を与えるか？

主な発見

• STAGIN-SERO は HCP-Rest gender classification で 88.20 ± 1.33% の精度と 0.9296 ± 0.0187 AUROC を達成。
• STAGIN-SERO は HCP-Task task decoding で 99.19 ± 0.20% の精度を達成（リストされたモデルの中で最高）。
• STAGIN-GARO は HCP-Rest で 87.01 ± 3.00% の精度と 0.9151 ± 0.0258 AUROC、HCP-Task で 99.02 ± 0.17% のタスク精度を達成。
• HCP-Rest データセットにおいて、STAGIN手法は ST-GCN、MS-G3D、GIN、GCN、GraphSAGE、ChebGCN を報告指標で上回り、動的アプローチが強い性能優位を示す。
• 時系列注意の分析により、HCP-Taskデータセットのタスク構造と整合する注意対象時間点が明らかになり、空間的注意は複数層にわたり既知のネットワーク（例：SMN、DMN）と整合する領域を強調する。