[論文レビュー] Attend and Decode: 4D fMRI Task State Decoding Using Attention Models

Sam Nguyen, Brenda Ng+2 more|arXiv (Cornell University)|Apr 10, 2020

Functional Brain Connectivity Studies参考文献 20被引用数 6

ひとこと要約

本稿では、3次元残留畳み込みネットワークによる空間的特徴抽出と、複数ヘッド自己注意機構による時系列モデリングを組み合わせた、4次元fMRIタスク状態解釈のための新規な4Dアテンションベースの深層学習モデル、Brain Attend and Decode (BAnD) を提案する。BAnDはHCP-YA 7タスクベンチマークで93.6%の正確性を達成し、未学習の運動タスクに微調整した後には94.1%の正確性を示し、より短い時間で訓練から始めたモデルを上回る性能を発揮した。

ABSTRACT

Functional magnetic resonance imaging (fMRI) is a neuroimaging modality that captures the blood oxygen level in a subject's brain while the subject either rests or performs a variety of functional tasks under different conditions. Given fMRI data, the problem of inferring the task, known as task state decoding, is challenging due to the high dimensionality (hundreds of million sampling points per datum) and complex spatio-temporal blood flow patterns inherent in the data. In this work, we propose to tackle the fMRI task state decoding problem by casting it as a 4D spatio-temporal classification problem. We present a novel architecture called Brain Attend and Decode (BAnD), that uses residual convolutional neural networks for spatial feature extraction and self-attention mechanisms for temporal modeling. We achieve significant performance gain compared to previous works on a 7-task benchmark from the large-scale Human Connectome Project-Young Adult (HCP-YA) dataset. We also investigate the transferability of BAnD's extracted features on unseen HCP tasks, either by freezing the spatial feature extraction layers and retraining the temporal model, or finetuning the entire model. The pre-trained features from BAnD are useful on similar tasks while finetuning them yields competitive results on unseen tasks/conditions.

研究の動機と目的

• 高次元的で複雑な空間的・時系列的fMRIデータを扱うタスク状態解釈の課題に対処すること。
• パラセレーションに依存せずに、4D fMRIシーケンス内の空間的および時系列的ダイナミクスを効果的に捉える深層学習モデルの開発。
• 異なるfMRIタスクや条件下での学習済み特徴の転送性の評価。
• アテンションマップと活性化マップを通じた解釈可能性の提供により、分類に重要な脳領域や時系列ポイントを特定すること。
• 生ボリュメトリックデータを用いたスケーラブルでエンドツーエンドのfMRI解釈を可能にすること。

提案手法

• 各3次元fMRIフレームからの空間的特徴抽出に、3D ResNet-18バックボーンを用いる。
• 埋め込み済み3次元フレームの系列に対して、複数ヘッド自己注意機構を適用して時系列依存性をモデリングする。
• HCP-YAデータセット上で7クラス分類のための交差エントロピー損失を用いて、エンドツーエンドで訓練する。
• 解釈可能性のため、Grad-CAMを適用して各タスクごとに重要なボクセルを強調する空間的活性化マップを生成する。
• 時間的アテンション重みは、単一のアテンションヘッドを持つ簡略化されたBAnD++モデルを用いて可視化し、重要な時間フレームを特定する。
• 転移学習は、空間的特徴を固定して時系列ヘッドを再訓練する、または未学習のタスク上で全モデルを微調整する方法で評価する。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構は、4D fMRIデータの時系列ダイナミクスをタスク状態解釈に効果的にモデリングできるか？
• RQ2 BAnDが学習した空間的特徴は、未学習のfMRIタスクにどの程度一般化できるか？
• RQ3 分類の過程でモデルはどのような時系列的および空間的パターンに注目しているのか？それらは神経生物学的に妥当なものか？
• RQ4 全モデルを微調整することは、新しいタスクで訓練から始めたモデルよりも優れた性能をもたらすか？
• RQ5 パラセレーションや手作業による特徴工学を用いずに、高い正確性を達成できるか？

主な発見

• BAnDはHCP-YA 7タスクベンチマークで93.6%の分類正確性を達成し、先行手法を著しく上回った。
• 未学習の運動タスクに転移する際、空間的特徴を固定して時系列ヘッドを再訓練すると51.1%の正確性を示したが、全モデルを微調整した後には94.1%まで向上した。
• 微調整済みBAnDは運動タスクで94.1%の正確性を達成し、訓練から始めたモデル（93.4%）と同等の性能を示したが、はるかに短い訓練時間で達成された。
• fMRIシーケンスの7番目のフレームは、すべてのタスクで一貫して最高のアテンション重みが割り当てられ、遅延BOLD反応のためと推定された。
• Grad-CAMで生成された空間的活性化マップは、手の動きタスクでは運動皮質、ギャンブルタスクではストリオプルスに特徴的な脳領域を強調した。
• モデルが学習した特徴は強力な転送性を示し、特に微調整された場合に顕著で、fMRIダイナミクスの堅牢で一般化可能な表現が得られていることが示された。