[论文解读] Deep Learning-Guided Image Reconstruction from Incomplete Data

Brendan J. Kelly, Thomas P. Matthews+1 more|arXiv (Cornell University)|Sep 2, 2017

Advanced Image Processing Techniques参考文献 24被引用 45

一句话总结

本文提出了一种深度学习引导的迭代图像重建方法，该方法用卷积神经网络（CNN）替代近端梯度下降中的近端算子，该CNN经过训练，可将含伪影的图像映射为无伪影的对应图像。通过将CNN整合到迭代框架中，该方法在严重不完整数据下显著提升了图像质量，在有限视角CT重建中实现了最先进的性能，其RMSE低于传统方法和单次通过的深度学习方法，SSIM更高。

ABSTRACT

An approach to incorporate deep learning within an iterative image reconstruction framework to reconstruct images from severely incomplete measurement data is presented. Specifically, we utilize a convolutional neural network (CNN) as a quasi-projection operator within a least squares minimization procedure. The CNN is trained to encode high level information about the class of images being imaged; this information is utilized to mitigate artifacts in intermediate images produced by use of an iterative method. The structure of the method was inspired by the proximal gradient descent method, where the proximal operator is replaced by a deep CNN and the gradient descent step is generalized by use of a linear reconstruction operator. It is demonstrated that this approach improves image quality for several cases of limited-view image reconstruction and that using a CNN in an iterative method increases performance compared to conventional image reconstruction approaches. We test our method on several limited-view image reconstruction problems. Qualitative and quantitative results demonstrate state-of-the-art performance.

研究动机与目标

• 解决在计算机断层扫描系统中，从严重不完整的测量数据中重建高质量图像的挑战。
• 克服传统正则化方法在非压缩采样条件下及复杂图像先验下表现不佳的局限性。
• 利用深度学习编码领域特定的图像先验，以捕捉人类可感知的伪影模式。
• 通过在迭代优化框架中嵌入训练好的CNN，提升图像重建性能。
• 证明迭代地整合CNN可获得优于单次通过图像恢复或标准稀疏正则化的性能。

提出的方法

• 该方法用CNN替代近端梯度下降中的近端算子，该CNN经过训练，可将含伪影的图像映射为对应的无伪影版本。
• CNN在成对数据上进行训练：从不完整数据重建的图像（含伪影）及其对应的真值图像。
• 迭代框架在使用线性重建算子的梯度下降步骤与基于CNN的更新步骤之间交替进行，后者用于施加图像先验。
• 引入两阶段训练方案以提高泛化能力，其中CNN首先在大量含伪影图像上进行预训练，然后在成对数据上进行微调。
• 该方法被表述为带学习正则项的最小二乘最小化问题，正则项源自CNN，从而在数据一致性与先验知识之间实现平衡。
• 该方法具有通用性，可集成其他重建算子（如PLS-TV），以进一步提升性能。

实验结果

研究问题

• RQ1 能否有效将深度CNN嵌入迭代重建框架中，以提升不完整数据下的图像质量？
• RQ2 所提出的迭代深度学习方法在性能上与单次通过的CNN图像恢复方法及传统稀疏正则化方法相比如何？
• RQ3 两阶段训练方案在多大程度上提升了CNN在图像重建中的泛化能力和鲁棒性？
• RQ4 在非压缩采样场景下，迭代整合学习到的先验是否比标准正则化更有效地减少伪影？
• RQ5 所提出的方法是否能在多个有限视角重建任务中实现最先进的性能？

主要发现

• 在所有测试案例中，所提方法均实现了最低的RMSE和最高的SSIM，140度噪声情况下RMSE为0.011，SSIM为0.989。
• 在100度噪声情况下，所提方法将RMSE降低至0.022，SSIM提升至0.969，显著优于PLS-TV（RMSE 0.059，SSIM 0.852）。
• 单次通过的CNN图像恢复方法虽优于基线LS-NN，但仍逊于所提的迭代方法，尤其在噪声条件下表现更优。
• 两阶段训练方案提升了泛化能力，性能优于标准训练，这对公平比较至关重要。
• 该方法显著减少了条纹伪影和噪声，即使在PLS-TV虽具强噪声抑制能力但仍难以去除伪影的情况下亦表现优异。
• 该框架在不同视图不完整程度和噪声水平下均表现出鲁棒性，在定量和定性指标上持续优于最先进的方法。