[論文レビュー] Attention module improves both performance and interpretability of 4D fMRI decoding neural network

Zhoufan Jiang, Yanming Wang+7 more|arXiv (Cornell University)|Oct 3, 2021

Functional Brain Connectivity Studies参考文献 26被引用数 4

ひとこと要約

本稿では、fMRIデータからの脳状態の復元に向け、自己注意モジュールを備えた4次元畳み込みニューラルネットワークを提案する。HCPタスクベンチマークにおいて97.4％の正確性を達成した。注意メカニズムにより、ネットワークの深さに沿って段階的にタスク固有の脳領域を強調することで、モデルの性能と解釈可能性が向上する。

ABSTRACT

Decoding brain cognitive states from neuroimaging signals is an important topic in neuroscience. In recent years, deep neural networks (DNNs) have been recruited for multiple brain state decoding and achieved good performance. However, the open question of how to interpret the DNN black box remains unanswered. Capitalizing on advances in machine learning, we integrated attention modules into brain decoders to facilitate an in-depth interpretation of DNN channels. A 4D convolution operation was also included to extract temporo-spatial interaction within the fMRI signal. The experiments showed that the proposed model obtains a very high accuracy (97.4%) and outperforms previous researches on the 7 different task benchmarks from the Human Connectome Project (HCP) dataset. The visualization analysis further illustrated the hierarchical emergence of task-specific masks with depth. Finally, the model was retrained to regress individual traits within the HCP and to classify viewing images from the BOLD5000 dataset, respectively. Transfer learning also achieves good performance. A further visualization analysis shows that, after transfer learning, low-level attention masks remained similar to the source domain, whereas high-level attention masks changed adaptively. In conclusion, the proposed 4D model with attention module performed well and facilitated interpretation of DNNs, which is helpful for subsequent research.

研究の動機と目的

• fMRI復元に用いられる深層ニューラルネットワーク（DNN）モデルにおける解釈可能性の課題に対処すること。
• ヒューマン・コンectマップ（HCP）のような複雑でマルチタスクなfMRIデータセットにおける復元性能の向上。
• 注意メカニズムを用いた階層的解釈により、タスク固有の脳活性化パターンを明らかにすること。
• BOLD5000データセットを用いて、個々の特徴や画像分類のための転移学習の能力を評価すること。

提案手法

• 4次元畳み込みニューラルネットワークを用いて、fMRIデータ内の空間的・時間的ダイナミクスをモデル化し、時間と3次元脳ボリュームの間の相互作用を捉える。
• 特徴マップのチャンネルごとの重要度重みを学習するために、ネットワークアーキテクチャに自己注意モジュールを統合する。
• 注意メカニズムにより、推論中に関連のある脳領域や機能的ネットワークに動的かつ的を向けることができる。
• 複数クラスの脳状態復元のため、HCPタスクfMRIデータ上でエンドツーエンドに訓練する。
• BOLD5000データセットの個々の特徴回帰および画像視聴分類のため、転移学習を適用してモデルを微調整する。
• 層を跨ぐ注意マップの可視化により、低レベルから高レベルへと段階的にタスク固有の脳領域が出現する様子が明らかになる。

実験結果

リサーチクエスチョン

• RQ1 注意メカニズムは、標準的なDNNよりも4次元fMRI復元モデルの性能を向上させることができるか？
• RQ2 注意マップはネットワークの深さに沿ってどのように変化するのか？また、生物学的に妥当な階層的脳活性化パターンを反映しているか？
• RQ3 転移学習により、新しいタスクにどの程度一般化できるのか？また、ターゲットドメインにおける注意パターンはどのように変化するか？
• RQ4 注意マップは、復元意思決定に最も寄与する脳領域を解釈可能な形で提供できるか？

主な発見

• 提案モデルは、ヒューマン・コンectマップデータセットの7つの異なるタスクベンチマークで97.4％のテスト正確性を達成し、先行手法を上回った。
• 注意の可視化により、タスク固有の脳領域が階層的に出現することが明らかになった。初期層では感覚領域に注目し、より深い層では高次の連合ネットワークに注目する。
• BOLD5000データセットでの転移学習後も、モデルは高い性能を維持した。低レベルの注意マップは元のドメインのパターンを保持し、高レベルのマップは新しい刺激に適応した。
• 注意メカニズムによりDNN特徴の意味のある解釈が可能となり、モデルの透明性が向上し、神経科学的応用に適したものとなった。