[論文レビュー] Task state decoding and mapping of individual four-dimensional fMRI time series using deep neural network

Xiaoxiao Wang, Liang Xiao+7 more|arXiv (Cornell University)|Jan 30, 2018

Functional Brain Connectivity Studies被引用数 6

ひとこと要約

本研究では、空間的・時間的ダイナミクスを保持したまま、生の4次元fMRI時間系列からタスク状態を直接分類する深層ニューラルネットワーク（DNN）を提案する。DNNは、被験者1人あたり1ブロックのデータから7つのタスクを識別する際、91.75%の正確性を達成し、ガイドドバックプロパゲーションによって生成されたタスクヒートマップが従来のグループレベルの対比マップとよく一致した。これは、小規模データセットでも転移学習後に95%の正確性を示す強力な性能を示しており、特に神経精神疾患の診断に応用可能な可能性を示している。

ABSTRACT

Decoding specific task states from human fMRI (functional magnetic resonance imaging) signals constitutes a major goal of neuroimaging. Previous studies of task-state classification have focused largely on processed fMRI characteristics (e.g. functional connectivity patterns, activity patterns) or a single fMRI volume. Here, we assembled a novel deep neural network (DNN) for classifying directly from 4-D fMRI time series, retaining both spatial and temporal information of fMRI signals. We trained and tested the DNN classifier by task fMRI data from human connectome project (HCP) S1200 dataset. Reading just a single block of fMRI time series of each task for each individual, the novel classification method identified the seven tasks with 91.75% accuracy in test. Then we extracted task heatmaps of each time series by a guided backpropagation approach, and found that the heatmaps had a high similarity with the group average result of traditional contrast of parameter estimate (COPE). Furthermore, the DNN could be applied to small dataset. The features from the intermediate layer of the DNN were trained and used to train a support vector machine (SVM) to classify four conditions within 300 blocks of task-fMRI scans, data amount comparable to a usual neuroimaging research, and obtained a 95% accuracy. Our reported findings were the first to demonstrate the ability of DNN to classify and extract heatmaps from a 4-D fMRI time series, as well as its ability to be transfer trained by a small dataset. This approach should enable decoding and mapping subject's task status and furthermore help with classification and diagnosis of neuropsychiatric diseases.

研究の動機と目的

• 事前に処理を行わず、生の4次元fMRI時間系列からタスク状態を直接解読する手法を開発すること。
• 分類の過程でfMRI信号の空間的および時間的情報を保持すること。
• 神経画像研究で一般的な小規模fMRIデータセットにおける深層学習の性能を評価すること。
• ガイドドバックプロパゲーションを用いて解釈可能なタスク固有の脳活性化マップを生成すること。
• 中間DNN層からの特徴量を用いた転移学習の可能性を、少数のサンプルで分類する際に評価すること。

提案手法

• ヒューマン・コンネクトーム・プロジェクト（HCP）S1200データセットの4次元fMRI時間系列を、事前の処理を施さずに、エンドツーエンドで学習した深層ニューラルネットワーク（DNN）を用いた。
• 被験者1人あたり1ブロックのfMRIデータのみを用いて、7つの異なるタスク状態を分類した。
• 解釈可能性を高めるために、訓練済みDNNにガイドドバックプロパゲーションを適用し、タスク固有の活性化ヒートマップを生成した。
• DNNの中間全結合層からの特徴量を抽出し、サポートベクターマシン（SVM）を用いて転移学習のための分類器を訓練した。
• 典型的な神経画像研究の規模を模倣するため、300ブロックの小規模fMRIデータセットを用いて手法の評価を行った。
• 生成されたヒートマップの解釈可能性を検証するため、従来のグループレベル対比マップ（COPE）と性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 生の4次元fMRI時間系列から直接タスク状態を正確に分類できるか？
• RQ2 DNNにおけるガイドドバックプロパゲーションで生成された活性化パターンは、従来のfMRI解析で得られるグループレベルの活性化マップと一致するか？
• RQ3 典型的な神経画像研究の規模に近い小規模fMRIデータセットで微調整した場合、DNNは高い分類正確性を達成できるか？
• RQ4 中間DNN層からの特徴表現は、限られたデータで下流の分類タスクに転送可能か？
• RQ5 DNNモデルは、高い空間的・時間的忠実性を保ちながら、個々のタスク状態を解読・マッピングできるか？

主な発見

• DNNは、被験者1人あたり1ブロックのfMRIデータのみを用いて、7つの異なるタスク状態を識別する際、テスト正確度91.75%を達成した。
• ガイドドバックプロパゲーションにより生成されたタスクヒートマップは、グループレベルの対比マップ（COPE）と高い類似性を示し、DNNの予測の解釈可能性が裏付けられた。
• 中間DNN層からの特徴量を用いてSVMを訓練したところ、300ブロックのfMRIデータからの4条件分類で95%の正確度を達成した。
• 本手法は小規模データセットでも優れた性能を示し、低データ環境における転移学習の強力な可能性を示した。
• DNNはfMRI信号の空間的および時間的構造を効果的に保持し、事前の処理なしに直接解読が可能であった。
• 本研究は、解釈可能なヒートマップ生成を併せ持つ、エンドツーエンドの4次元fMRI時間系列分類の初の実証例を提供した。