[论文解读] Data augmentation for deep learning based accelerated MRI reconstruction with limited data

Zalan Fabian, Reinhard Heckel+1 more|arXiv (Cornell University)|Jun 28, 2021

Medical Imaging Techniques and Applications被引用 22

一句话总结

本文提出 MRAugment，一种用于基于深度学习的加速磁共振成像（MRI）重建的物理信息数据增强流程，通过利用 MRI 采集的不变性，在低数据量场景下减少过拟合。通过在 k 空间数据上应用空间变换和保持噪声特性的增强方法，MRAugment 提升了模型的泛化能力和鲁棒性，在显著减少训练数据量的情况下实现了最先进（SOTA）的性能表现——在某些设置下，数据需求量减少高达 98%，同时保持或超越了现有最先进结果。

ABSTRACT

Deep neural networks have emerged as very successful tools for image restoration and reconstruction tasks. These networks are often trained end-to-end to directly reconstruct an image from a noisy or corrupted measurement of that image. To achieve state-of-the-art performance, training on large and diverse sets of images is considered critical. However, it is often difficult and/or expensive to collect large amounts of training images. Inspired by the success of Data Augmentation (DA) for classification problems, in this paper, we propose a pipeline for data augmentation for accelerated MRI reconstruction and study its effectiveness at reducing the required training data in a variety of settings. Our DA pipeline, MRAugment, is specifically designed to utilize the invariances present in medical imaging measurements as naive DA strategies that neglect the physics of the problem fail. Through extensive studies on multiple datasets we demonstrate that in the low-data regime DA prevents overfitting and can match or even surpass the state of the art while using significantly fewer training data, whereas in the high-data regime it has diminishing returns. Furthermore, our findings show that DA can improve the robustness of the model against various shifts in the test distribution.

研究动机与目标

• 解决基于深度学习的 MRI 重建中训练数据有限的问题，因为大规模数据集的采集成本高且耗时长。
• 克服在 MRI 重建等逆问题中使用朴素数据增强方法的局限性，因为标准的图像级变换会破坏测量的一致性。
• 开发一种针对 MRI 采集物理约束量身定制的数据增强流程，以提升模型的泛化能力和鲁棒性。
• 证明物理感知的数据增强可显著减少数据需求量，同时保持或提升重建质量。
• 研究数据增强对模型在分布偏移（如扫描仪或场强差异）下鲁棒性以及在医学图像重建中幻觉现象的影响。

提出的方法

• 提出 MRAugment，一种数据增强流程，对 k 空间数据应用空间变换（如旋转、翻转）的同时，保持 MRI 测量的底层物理特性。
• 通过在图像域中应用变换后再进行前向 k 空间投影，确保增强后的数据保持一致的噪声分布，避免训练与验证阶段之间的噪声不匹配。
• 采用指数调度策略控制增强概率，逐步增加训练过程中的增强强度，以提升模型泛化能力。
• 在 k 空间采样前对图像应用刚体变换（旋转、翻转、平移），确保生成的测量结果与采集模型保持一致。
• 将增强流程集成到基于 U-Net 的深度学习重建模型中，使用标准 L2 损失端到端进行训练。
• 在多个数据集（脑部和膝关节 MRI）上，针对不同的 undersampling 方案和扫描仪差异对方法进行验证。

实验结果

研究问题

• RQ1 物理信息数据增强是否能在不牺牲性能的前提下，显著减少基于深度学习的 MRI 重建所需的训练数据量？
• RQ2 与朴素数据增强技术相比，MRAugment 在重建质量与泛化能力方面表现如何？
• RQ3 数据增强在多大程度上提升了模型对分布偏移（如扫描仪或场强差异）的鲁棒性？
• RQ4 数据增强是否减少了重建 MRI 图像中的幻觉特征，尤其是在低数据量场景下？
• RQ5 当训练数据稀缺或分布快速变化时，数据增强是否能提升模型的泛化能力？

主要发现

• MRAugment 显著减少了低数据量场景下的过拟合现象，在仅使用完整训练数据集 2% 的情况下，实现了最先进（SOTA）的重建质量。
• 在 fastMRI 脑部数据集上，当仅使用 2% 的数据进行训练时，MRAugment 将 SSIM 从无数据增强的 0.8646 提升至 0.9049，优于未增强的模型。
• 使用 MRAugment 训练的模型在面对扫描仪差异时表现出更强的鲁棒性：在 1.5T 数据上训练后，于 3T 数据上测试的 SSIM 从 0.8241 提升至 0.8551。
• 直接在图像上应用朴素数据增强（未考虑噪声分布）会降低性能，导致高频伪影和图像质量下降，原因在于噪声分布不匹配。
• MRAugment 的使用减少了重建图像中的幻觉特征，尤其在低数据设置下，通过视觉对比和 SSIM 的定量提升得到验证。
• 在高数据量场景下，数据增强的优势减弱，表明 MRAugment 在数据稀缺时效果最为显著。