[论文解读] Deep Learning Techniques for Inverse Problems in Imaging

Greg Ongie, Ajil Jalal+4 more|arXiv (Cornell University)|May 12, 2020

Medical Imaging Techniques and Applications参考文献 140被引用 9

一句话总结

本文提出了一种针对成像中基于深度学习的逆问题的全面分类法，从两个维度对方法进行分类：已知前向模型与监督学习 vs. 无监督学习。结果表明，深度学习在磁共振成像重建和图像去模糊等任务中可超越经典正则化方法，其中如 Deep Image Prior 的方法在无需训练数据的情况下，通过利用卷积网络的归纳偏置和早停策略，实现了最先进性能。

ABSTRACT

Recent work in machine learning shows that deep neural networks can be used to solve a wide variety of inverse problems arising in computational imaging. We explore the central prevailing themes of this emerging area and present a taxonomy that can be used to categorize different problems and reconstruction methods. Our taxonomy is organized along two central axes: (1) whether or not a forward model is known and to what extent it is used in training and testing, and (2) whether or not the learning is supervised or unsupervised, i.e., whether or not the training relies on access to matched ground truth image and measurement pairs. We also discuss the trade-offs associated with these different reconstruction approaches, caveats and common failure modes, plus open problems and avenues for future work.

研究动机与目标

• 对用于求解成像中逆问题的新兴深度学习技术进行组织与分类。
• 阐明前向模型与监督在基于学习的重建中的作用。
• 识别当前方法中的关键权衡、失败模式及开放挑战。
• 突出无监督与自监督方法（如 Deep Image Prior）在数据稀缺环境中的潜力。
• 为未来在不确定性量化、域适应及非线性逆问题研究中奠定基础。

提出的方法

• 提出双轴分类法：(1) 是否已知并使用前向模型，(2) 学习是否为监督（使用成对数据）或无监督（无成对数据）。
• 综述监督方法，即在配对测量与真实图像上训练深度神经网络，以学习端到端的重建映射。
• 引入无监督方法，如 Deep Image Prior (DIP)，其使用随机初始化的生成器网络，并通过优化权重来拟合测量数据，依赖归纳偏置实现正则化。
• 讨论自监督与域适应技术，通过利用模拟数据或相关领域数据，将知识迁移至真实世界成像任务，尤其在真实数据有限的情况下。
• 通过贝叶斯深度学习探索不确定性量化，利用生成对抗网络估计重建图像的后验分布。
• 分析非线性逆问题，特别是相位恢复问题，识别理论理解与泛化能力方面的空白。

实验结果

研究问题

• RQ1 如何基于前向模型的使用与监督方式，系统性地对深度学习方法进行分类？
• RQ2 在图像重建中，监督学习与无监督学习在性能与泛化能力方面存在哪些权衡？
• RQ3 为何未经训练的生成模型（如 DIP）能在无任何训练数据的情况下成功重建图像？
• RQ4 如何量化重建图像中的不确定性，并在临床或科学应用中实现有意义的使用？
• RQ5 在将深度学习应用于非线性逆问题时，其局限性与开放挑战是什么？

主要发现

• 深度学习方法，特别是利用归纳偏置（如 DIP）的方法，可在无需任何标注训练数据的情况下，从欠采样或噪声测量中重建出高质量图像。
• DIP 通过优化生成器网络以拟合测量数据，在磁共振成像重建任务中实现了具有竞争力的性能，其中早停策略起到了隐式正则化作用。
• DIP 的成功归因于卷积网络对平滑、自然外观图像的归纳偏置，使得噪声分量在重建过程中被优先抑制。
• 未经训练的生成模型（如 DIP 和 Deep Decoder）尽管参数量超过像素数，却表现出惊人的泛化能力，提示当前理论理解仍需深化。
• 迁移学习与域适应在医学成像中展现出潜力，尤其在真实数据有限时，可通过利用模拟数据或相关领域数据实现知识迁移。
• 通过贝叶斯深度学习实现不确定性量化是可行且有用的，近期方法已在计算机断层扫描重建中提供了像素级的方差估计。