[论文解读] Can Un-trained Neural Networks Compete with Trained Neural Networks at Image Reconstruction?

Mohammad Zalbagi Darestani, Reinhard Heckel|arXiv (Cornell University)|Jul 6, 2020

Medical Imaging Techniques and Applications参考文献 31被引用 8

一句话总结

本文提出了一种基于未训练神经网络的改进卷积解码器架构——受 Deep Image Prior 和 Deep Decoder 启发——在 FastMRI 数据集上实现的加速磁共振成像重建性能与训练过的 U-Net 相当。该方法对分布外输入表现出强大的鲁棒性，挑战了高质量图像重建对大规模训练数据的必要性。

ABSTRACT

Convolutional Neural Networks (CNNs) are highly effective for image reconstruction problems. Typically, CNNs are trained on large amounts of training images. Recently, however, un-trained neural networks such as the Deep Image Prior and Deep Decoder have achieved excellent image reconstruction performance for standard image reconstruction problems such as image denoising and image inpainting, without using any training data. This success raises the question whether un-trained neural networks can compete with trained ones for practical imaging tasks. To address this question, we consider accelerated magnetic resonance imaging (MRI), an important medical imaging problem, which has received significant attention from the deep-learning community, and for which a dedicated training set exists. We study and optimize un-trained architectures, and as a result, propose a variation of the architectures of the deep image prior and deep decoder. We show that the resulting convolutional decoder out-performs other un-trained methods and---most importantly---achieves on-par performance with a standard trained baseline, the U-net, on the FastMRI dataset, a new dataset for benchmarking deep learning based reconstruction methods. Besides achieving on-par reconstruction performance relative to trained methods, we demonstrate that a key advantage over trained methods is robustness to out-of-distribution examples.

研究动机与目标

• 探究未训练神经网络是否能在实际医学影像任务中实现与训练深度学习模型相当的性能。
• 解决加速磁共振成像重建这一关键医学影像问题，即从欠采样的 k 空间数据中实现高保真重建。
• 优化未训练架构以提升重建质量和鲁棒性，特别是在低数据量或分布偏移场景下。
• 在 FastMRI 数据集上，将未训练模型的性能与标准训练基线（如 U-Net）进行基准对比。

提出的方法

• 作者设计了一种基于 Deep Image Prior 和 Deep Decoder 的改进卷积解码器架构，专为图像重建任务而定制。
• 该架构采用全卷积、前馈网络结构，无任何可学习权重，依赖网络结构的归纳偏置实现重建。
• 通过梯度下降优化网络的潜在码，以最小化重建损失，且无需在图像数据上进行任何预训练。
• 作者开展了广泛的消融研究，以调整超参数和网络组件，从而在性能上超越标准未训练基线。
• 最终模型在 FastMRI 数据集上进行评估，该数据集是磁共振成像重建的基准，采用 PSNR 和 SSIM 等标准指标。
• 通过在分布外数据上测试（包括非 FastMRI 扫描和不同加速因子）来评估鲁棒性。

实验结果

研究问题

• RQ1 未训练神经网络是否能在真实世界医学影像任务中实现与最先进训练模型（如 U-Net）相当的重建性能？
• RQ2 未训练架构的性能如何随网络结构修改和优化策略的变化而变化？
• RQ3 与训练模型相比，未训练模型在应对分布偏移方面具有哪些优势？
• RQ4 是否可能在保持高重建保真度的前提下，消除磁共振成像重建对大规模训练数据的需求？

主要发现

• 所提出的未训练卷积解码器在 FastMRI 数据集上的重建性能与训练过的 U-Net 基线相当，PSNR 和 SSIM 指标表现一致。
• 该方法在重建质量和收敛速度方面均优于其他现有未训练架构，如原始 Deep Image Prior 和 Deep Decoder。
• 未训练模型对分布外输入（包括不同加速因子和非 FastMRI 扫描类型）表现出显著提升的鲁棒性。
• 由于无需训练数据和可学习权重，该模型在未见数据分布上的泛化能力更强，这是相对于训练模型的关键优势。