[论文解读] FMRI data augmentation via synthesis

Peiye Zhuang, Alexander G. Schwing+1 more|arXiv (Cornell University)|Jul 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 6

一句话总结

本文提出使用3D条件生成模型（特别是GANs、VAEs和GMMs）进行fMRI数据增强，以提升认知解码中预测模型的性能。通过在真实fMRI数据上训练3D卷积模型，合成多样化、与任务相关的脑图像，作者证明合成数据显著提升了分类器准确率，尤其在与深度神经网络结合时，优于传统数据增强方法和基线生成模型。

ABSTRACT

We present an empirical evaluation of fMRI data augmentation via synthesis. For synthesis we use generative mod-els trained on real neuroimaging data to produce novel task-dependent functional brain images. Analyzed generative mod-els include classic approaches such as the Gaussian mixture model (GMM), and modern implicit generative models such as the generative adversarial network (GAN) and the variational auto-encoder (VAE). In particular, the proposed GAN and VAE models utilize 3-dimensional convolutions, which enables modeling of high-dimensional brain image tensors with structured spatial correlations. The synthesized datasets are then used to augment classifiers designed to predict cognitive and behavioural outcomes. Our results suggest that the proposed models are able to generate high-quality synthetic brain images which are diverse and task-dependent. Perhaps most importantly, the performance improvements of data aug-mentation via synthesis are shown to be complementary to the choice of the predictive model. Thus, our results suggest that data augmentation via synthesis is a promising approach to address the limited availability of fMRI data, and to improve the quality of predictive fMRI models.

研究动机与目标

• 探究生成模型是否能够生成高质量、多样化且与任务相关的合成fMRI数据以用于数据增强。
• 评估合成fMRI数据对提升下游分类器在认知和行为结果预测中性能的影响。
• 比较不同生成模型（GMMs、VAEs和GANs）在fMRI数据增强中的有效性。
• 评估通过合成实现的数据增强是否与预测模型架构的进展具有互补性。

提出的方法

• 使用3D卷积训练3D条件变分自编码器（CVAEs），以建模fMRI数据中的空间相关性，并生成基于任务标签的合成脑图像。
• 开发一种改进的条件Wasserstein GAN（ICW-GAN），结合3D卷积和梯度惩罚，以生成逼真且多样的fMRI体积。
• 使用高斯混合模型（GMMs）作为基线进行比较，通过EM算法在真实fMRI数据上训练，以建模数据似然。
• 将生成模型用于每类合成20个新样本以实现数据增强，将合成数据与真实数据结合用于分类器训练。
• 在两个fMRI数据集（1952和2138）上，使用3折交叉验证，评估线性SVM和深度神经网络（DNNs）的性能。
• 在CVAEs和ICW-GANs中采用条件损失函数，以确保生成图像与特定认知任务标签一致。

实验结果

研究问题

• RQ1 在真实fMRI数据上训练的生成模型能否生成高质量、多样化且与任务相关的合成脑图像？
• RQ2 使用合成fMRI数据进行数据增强是否能提升预测认知和行为结果的分类器性能？
• RQ3 不同生成模型（GMMs、CVAEs和ICW-GANs）在生成对下游分类有用fMRI数据方面的表现如何比较？
• RQ4 合成数据增强带来的性能提升是否与预测模型架构的选择具有互补性？
• RQ5 合成图像是否保留了有意义的神经解剖学模式，例如与任务标签对应的运动皮层或视觉皮层的激活？

主要发现

• ICW-GAN和CVAE模型生成了高质量的合成fMRI图像，其空间激活模式与真实数据高度一致，专家确认了任务相关脑区的适当激活。
• 在真实数据基础上结合CVAE和ICW-GAN生成的合成数据进行训练的分类器，其准确率显著高于仅使用真实数据或噪声增强训练的分类器。
• ICW-GAN和CVAE在性能上均优于基于GMM的合成方法和简单的噪声添加方法，表明并非所有数据增强方法都同样有效。
• 在1952数据集上，使用ICW-GAN生成数据训练的DNN分类器准确率方差为1.3e-4，表明性能提升稳定且具有统计显著性。
• CVAE和ICW-GAN模型降低了交叉验证性能指标的方差，表明合成数据增强方法具有鲁棒性和可靠性。
• 合成数据带来的性能增益与模型架构选择具有互补性，SVM和DNN分类器均从增强数据中受益，其中DNN表现出最显著的相对提升。