[论文解读] A Transfer-Learning Approach for Accelerated MRI using Deep Neural Networks

Salman Ul Hassan Dar, Muzaffer Özbey+2 more|arXiv (Cornell University)|Oct 6, 2017

Advanced MRI Techniques and Applications被引用 9

一句话总结

本文提出了一种迁移学习框架，通过在大型公开数据集（如 ImageNet 或脑部 MR 扫描）上进行预训练，并在有限的目标域数据上进行微调，仅使用数十张受试者特定的 MR 图像，即可使深度神经网络实现高质量的加速 MRI 重建。该方法在性能上可与在数千张图像上从零开始训练的网络相媲美，显著减少了对大规模、领域特定数据集的需求。

ABSTRACT

Purpose: Neural networks have received recent interest for reconstruction of undersampled MR acquisitions. Ideally network performance should be optimized by drawing the training and testing data from the same domain. In practice, however, large datasets comprising hundreds of subjects scanned under a common protocol are rare. The goal of this study is to introduce a transfer-learning approach to address the problem of data scarcity in training deep networks for accelerated MRI. Methods: Neural networks were trained on thousands of samples from public datasets of either natural images or brain MR images. The networks were then fine-tuned using only few tens of brain MR images in a distinct testing domain. Domain-transferred networks were compared to networks trained directly in the testing domain. Network performance was evaluated for varying acceleration factors (2-10), number of training samples (0.5-4k) and number of fine-tuning samples (0-100). Results: The proposed approach achieves successful domain transfer between MR images acquired with different contrasts (T1- and T2-weighted images), and between natural and MR images (ImageNet and T1- or T2-weighted images). Networks obtained via transfer-learning using only tens of images in the testing domain achieve nearly identical performance to networks trained directly in the testing domain using thousands of images. Conclusion: The proposed approach might facilitate the use of neural networks for MRI reconstruction without the need for collection of extensive imaging datasets.

研究动机与目标

• 解决在加速 MRI 重建中训练深度神经网络时的数据稀缺问题。
• 克服训练 MRI 重建网络所需大规模、领域特定数据集的限制。
• 实现在通用图像领域（如 ImageNet）或公开 MR 数据集与新、有限目标 MRI 领域之间的知识有效迁移。
• 证明仅使用数十张目标域 MR 图像进行微调，即可达到在数千张图像上训练的网络的性能。
• 通过减少数据收集负担，促进深度学习在临床 MRI 中的实际部署。

提出的方法

• 在大规模公开数据集上预训练深度神经网络，包括自然图像（ImageNet）和脑部 MR 图像。
• 使用来自新目标域（如 T1- 或 T2-加权扫描）的仅数十张 MR 图像对预训练网络进行微调。
• 采用类似 U-Net 的架构进行图像重建，通过跳跃连接保留空间细节。
• 在微调过程中应用标准优化技术（如 Adam），以适应网络权重至目标 MRI 领域。
• 在不同加速因子（2–10）和不同训练样本数量（0.5k–4k）下评估性能。
• 将迁移学习的性能与在同一目标域中从零开始训练的网络进行对比。

实验结果

研究问题

• RQ1 预训练的深度神经网络是否能仅用极少的微调数据成功适应新的 MRI 领域？
• RQ2 当仅拥有数十张目标域图像时，迁移学习的性能与端到端训练相比如何？
• RQ3 迁移学习在不同 MRI 对比度（如 T1- 与 T2-加权）之间是否具有泛化能力？
• RQ4 迁移学习在多大程度上可以减少对大规模、受试者特定 MRI 数据集的需求？
• RQ5 从自然图像数据集（如 ImageNet）进行迁移学习是否能实现有效的 MRI 重建？

主要发现

• 仅使用 10–100 张目标域 MR 图像进行微调的网络，其重建质量几乎与在 4,000 张图像上从零开始训练的网络完全相同。
• 迁移学习成功弥合了 T1- 和 T2-加权 MR 图像之间的领域差异，实现了跨对比度的重建。
• 在加速因子 2 到 10 的范围内，性能保持稳健，图像质量几乎没有下降。
• 从 ImageNet 到脑部 MR 图像的迁移学习取得了优异结果，证明了跨领域预训练的可行性。
• 与传统训练方法相比，该方法将高质量重建所需的训练数据减少了高达 90%。
• 在目标域中仅使用 10 张图像进行微调，即可获得具有竞争力的峰值信噪比（PSNR）和结构相似性（SSIM）值。