[論文レビュー] FMRI data augmentation via synthesis

Peiye Zhuang, Alexander G. Schwing+1 more|arXiv (Cornell University)|Jul 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 6

ひとこと要約

本論文は、認知デコードにおける予測モデルの性能向上を目的として、3次元条件付き生成モデル（特にGAN、VAE、GMM）を用いたfMRIデータ拡張を提案する。実際のfMRIデータを用いて3次元畳み込みモデルを訓練し、多様でタスク依存の脳画像を合成することで、著者らは合成データが分類器の精度を顕著に向上させることを示した。特に深層ニューラルネットワークと組み合わせた場合、従来のデータ拡張法やベースライン生成モデルを上回る性能を発揮した。

ABSTRACT

We present an empirical evaluation of fMRI data augmentation via synthesis. For synthesis we use generative mod-els trained on real neuroimaging data to produce novel task-dependent functional brain images. Analyzed generative mod-els include classic approaches such as the Gaussian mixture model (GMM), and modern implicit generative models such as the generative adversarial network (GAN) and the variational auto-encoder (VAE). In particular, the proposed GAN and VAE models utilize 3-dimensional convolutions, which enables modeling of high-dimensional brain image tensors with structured spatial correlations. The synthesized datasets are then used to augment classifiers designed to predict cognitive and behavioural outcomes. Our results suggest that the proposed models are able to generate high-quality synthetic brain images which are diverse and task-dependent. Perhaps most importantly, the performance improvements of data aug-mentation via synthesis are shown to be complementary to the choice of the predictive model. Thus, our results suggest that data augmentation via synthesis is a promising approach to address the limited availability of fMRI data, and to improve the quality of predictive fMRI models.

研究の動機と目的

• 生成モデルが、高品質で多様かつタスク依存の合成fMRIデータを生成できるかどうかを調査すること。
• 合成fMRIデータを用いたデータ拡張が、認知的・行動的アウトカム予測のための下流分類器の性能向上に与える影響を評価すること。
• GMM、VAE、GANといった異なる生成モデルがfMRIデータ拡張においてどれほど有効であるかを比較すること。
• 合成によるデータ拡張が予測モデルアーキテクチャの進歩と相乗効果をもたらすかどうかを評価すること。

提案手法

• fMRIデータ内の空間相関をモデル化し、タスクラベルに条件づけられた合成脳画像を生成するため、3次元畳み込みを用いた条件付き変分オートエンコーダー（CVAE）を訓練する。
• 3次元畳み込みと勾配ペナルティを備えた、改良型の条件付きワッサーシュタインGAN（ICW-GAN）を開発し、現実的で多様なfMRIボリュームを生成する。
• 比較のためのベースラインとして、EMアルゴリズムを用いて実際のfMRIデータ上で訓練された混合ガウスモデル（GMM）を用いる。
• 生成モデルを用いて各クラスあたり20個の新しいサンプルを合成し、実データと組み合わせて分類器の学習に使用する。
• 2つのfMRIデータセット（1952および2138）を用い、3分割交差検証を実施しながら、線形SVMおよび深層ニューラルネットワーク（DNN）を用いて性能を評価する。
• CVAEおよびICW-GANの両モデルにおいて、生成画像が特定の認知的タスクラベルと整合するように、条件付き損失関数を導入する。

実験結果

リサーチクエスチョン

• RQ1 実際のfMRIデータで訓練された生成モデルは、高品質で多様かつタスク依存の合成脳画像を生成できるか？
• RQ2 合成fMRIデータを用いたデータ拡張は、認知的・行動的アウトカムを予測する分類器の性能向上に寄与するか？
• RQ3 GMM、CVAE、ICW-GANといった異なる生成モデルは、下流分類のための有用な合成fMRIデータをどれほど効果的に生成できるか？
• RQ4 合成データによる拡張による性能向上は、予測モデルアーキテクチャの選択と補完的であるか？
• RQ5 合成画像は、タスクラベルに対応する領域（例：運動皮質や視覚皮質）における意味のある神経解剖学的パターンを保持しているか？

主な発見

• ICW-GANおよびCVAEモデルは、実データと類似した空間的活性パターンを示す高品質な合成fMRI画像を生成し、専門家による評価でもタスク固有の脳領域における適切な活性化が確認された。
• CVAEおよびICW-GANから得た合成データで拡張された実データを用いて学習した分類器は、実データのみで学習した場合やノイズ拡張を施した場合よりも顕著に高い精度を示した。
• ICW-GANおよびCVAEは、GMMベースの合成および単純なノイズ追加よりも優れており、すべてのデータ拡張手法が同等に効果的であるわけではないことが示された。
• 1952データセットにおいて、DNN分類器はICW-GANで生成されたデータを用いて学習した際、精度の分散が1.3e-4にまで低下し、安定的かつ統計的に有意な性能向上が得られた。
• CVAEおよびICW-GANは、交差検証の性能指標の分散を低減させ、合成データ拡張手法の堅牢性と信頼性を示した。
• 合成データによる性能向上はモデルアーキテクチャの選択と補完的であり、SVMおよびDNN両方の分類器が拡張データの恩恵を受けた。特にDNNは相対的に最も顕著な改善を示した。