[論文レビュー] 4D Spatio-Temporal Deep Learning with 4D fMRI Data for Autism Spectrum Disorder Classification

Marcel Bengs, Nils Gessert+1 more|arXiv (Cornell University)|Jul 1, 2019

Autism Spectrum Disorder Research被引用数 6

ひとこと要約

本稿では、4D fMRIデータを用いた4次元時空間的深層学習フレームワークを提案し、自閉症スペクトラム障害（ASD）分類の精度を向上させることを目的としている。4D畝込みニューラルネットワーク（CNN4D）と畝込みゲート付き再帰型ユニット（convGRU-CNN3D）を用いて、空間的および時間的脳活動を共同でモデル化し、F1スコア0.71を達成した。これは、時間的および空間的情報を別々または暗黙的に処理する従来手法を上回る結果である。

ABSTRACT

Autism spectrum disorder (ASD) is associated with behavioral and communication problems. Often, functional magnetic resonance imaging (fMRI) is used to detect and characterize brain changes related to the disorder. Recently, machine learning methods have been employed to reveal new patterns by trying to classify ASD from spatio-temporal fMRI images. Typically, these methods have either focused on temporal or spatial information processing. Instead, we propose a 4D spatio-temporal deep learning approach for ASD classification where we jointly learn from spatial and temporal data. We employ 4D convolutional neural networks and convolutional-recurrent models which outperform a previous approach with an F1-score of 0.71 compared to an F1-score of 0.65

研究の動機と目的

• 4D fMRIデータ内の空間的および時間的パターンを共同でモデル化することで、ASD分類の精度を向上させること。
• 時間的および空間的情報を別々または暗黙的に処理する従来手法の限界を克服すること。
• fMRIデータに対する4次元深層学習アーキテクチャ（特に4D CNNおよびconvGRU-CNN3D）の有効性を評価すること。
• 従来の3D CNN（時間的統計量（平均/標準偏差）を手作業で抽出するか、時間チャンネルをスタックする方法）と対比し、エンドツーエンドの4D学習アプローチの有効性を検証すること。
• 生の4D fMRIシーケンスからの明示的な時空間的特徴抽出が、分類性能の向上に寄与することを示すこと。

提案手法

• ABIDEデータセットから得た4D fMRIデータを用い、スライスタイミング補正、動き補正、強度正規化を実施した後、32×32×32×176にダウンサンプリングした。
• 各4D fMRIボリュームから15時間ポイントのシーケンスを切り出し、訓練・検証・テストに使用した。
• 3つのDenseNetブロック（各5層）を備えたDenseNetベースの3D CNNバックボーンを採用し、グローバル平均プーリングと2クラスの全結合層を配置した。
• 4つのアーキテクチャを比較した：(1) CNN3D-TC（時間ステップをチャネル次元にスタック）、(2) CNN3D-MS（平均および標準偏差ボリュームをスタック）、(3) convGRU-CNN3D（3D CNNの前にconvGRUによる時間的処理）、(4) CNN4D（空間的・時間的学習を統合する等方的4D畝込み）。
• すべてのモデルをエンドツーエンドで学習し、バッチサイズ10、500エポック、Adam最適化法、検証F1スコアに基づく早期停止を適用した。
• テストおよび検証データに対してスライディングウィンドウ推論を実施し、1人の被験者あたりの全クロップの予測を平均化した。

実験結果

リサーチクエスチョン

• RQ1 生のfMRIシーケンスからの明示的な4次元時空間的学習は、時間的および空間的情報を別々に処理する手法よりもASD分類性能を向上させるか？
• RQ2 時間的統計量（平均/標準偏差）を用いる3D CNNと比較して、4D畝込みニューラルネットワーク（4D CNN）の性能はいかがなものか？
• RQ3 畝込みゲート付き再帰型ユニット（convGRU）を組み込むことで、fMRIを用いたASD分類における時間的特徴抽出が向上するか？
• RQ4 時間的特徴を事前に抽出する2段階アプローチと比較して、エンドツーエンドの4D学習はより効果的か？
• RQ5 同じデータセット上で、4D深層学習モデルは従来の最先端手法と比較して、F1スコアおよび正答率をどの程度向上させるか？

主な発見

• convGRU-CNN3Dモデルが最高のF1スコア0.71を達成し、従来の最先端手法（F1スコア0.65）を顕著に上回った。
• 4D CNN（CNN4D）はF1スコア0.68を達成し、時間的および空間的情報を別々に処理する手法よりも、共同での時空間的学習が分類性能の向上に寄与することを示した。
• CNN3D-MSモデル（平均および標準偏差ボリュームをスタック）はF1スコア0.65を達成し、単純な時間スタック3D CNN（CNN3D-TC、F1 = 0.61）に比べて性能が向上することを確認した。
• 最高性能を示したモデル（convGRU-CNN3D）の正答率は0.67であり、挑戦的なASD fMRIデータセットにおいて中程度ながらも意味のある分類性能を示した。
• 明示的な時間的ダイナミクスの学習、特にconvGRUのような再帰的メカニズムを用いることで、時間的処理が暗黙的である手法よりも優れた特徴表現が得られることを示した。
• 本研究は、4D深層学習モデルがASD分類において実用的かつ効果的であることを示しており、他の4D fMRI解析タスクへの応用可能性も示唆している。