[论文解读] Deep synthesis regularization of inverse problems

Daniel Obmann, Johannes Schwab+1 more|arXiv (Cornell University)|Feb 1, 2020

Sparse and Compressive Sensing Techniques参考文献 21被引用 6

一句话总结

该论文提出了一种名为深度合成正则化（DESYRE）的新框架，通过使用神经网络作为非线性合成算子，将深度学习与变分正则化相结合。该方法建立了收敛性和收敛速率，实现了具有理论保证的数据驱动重建，在噪声环境下优于经典方法，同时对前向算子的变化保持鲁棒性。

ABSTRACT

Recently, a large number of efficient deep learning methods for solving inverse problems have been developed and show outstanding numerical performance. For these deep learning methods, however, a solid theoretical foundation in the form of reconstruction guarantees is missing. In contrast, for classical reconstruction methods, such as convex variational and frame-based regularization, theoretical convergence and convergence rate results are well established. In this paper, we introduce deep synthesis regularization (DESYRE) using neural networks as nonlinear synthesis operator bridging the gap between these two worlds. The proposed method allows to exploit the deep learning benefits of being well adjustable to available training data and on the other hand comes with a solid mathematical foundation. We present a complete convergence analysis with convergence rates for the proposed deep synthesis regularization. We present a strategy for constructing a synthesis network as part of an analysis-synthesis sequence together with an appropriate training strategy. Numerical results show the plausibility of our approach.

研究动机与目标

• 弥合数据驱动的深度学习方法与理论基础坚实的变分正则化在反问题中的差距。
• 开发一种正则化框架，利用神经网络进行信号表示，同时确保数学上的收敛性和收敛速率。
• 通过与前向算子K无关的数据驱动编码器-解码器训练策略，构建合成网络。
• 在不重新训练网络的前提下，实现对不同前向算子的鲁棒重建。
• 通过结合深度表征学习与理论稳定性及收敛性分析，提升图像重建质量。

提出的方法

• 提出一种深度合成正则化泛函，其中信号表示为 $ u = oldsymbol{D}(oldsymbol{ heta}) $，$ oldsymbol{D} $ 为作为非线性合成算子的神经网络。
• 在网络潜在码 $ oldsymbol{ heta} $ 上使用稀疏性促进正则化器 $ igraceVert oldsymbol{ heta} igraceVert_{1, extbf{w}} $，推广了线性框架方法。
• 定义最小化问题 $ ext{argmin}_{oldsymbol{ heta}} igraceVert oldsymbol{K}oldsymbol{D}(oldsymbol{ heta}) - v_{oldsymbol{ u}} igraceVert^2 + oldsymbol{ u} igraceVert oldsymbol{ heta} igraceVert_{1, extbf{w}} $，其中 $ oldsymbol{K} $ 为前向算子，$ v_{oldsymbol{ u}} $ 为噪声数据。
• 在源条件假设下，建立了理论收敛性与线性收敛速率，将经典变分正则化理论扩展至非线性合成算子。
• 在干净数据上训练稀疏自编码器（编码器-解码器对）以学习合成网络 $ oldsymbol{D} $，其中编码器近似 $ oldsymbol{D} $ 的逆。
• 采用与前向算子 $ oldsymbol{K} $ 无关的训练策略，实现跨不同反问题的泛化，无需重新训练。

实验结果

研究问题

• RQ1 基于深度神经网络的非线性合成算子能否用于构建具有理论收敛性保证的正则化方法？
• RQ2 如何将深度学习的表征能力整合到变分正则化中，同时保持数学稳定性与收敛速率？
• RQ3 所提出的深度合成正则化是否在重建质量与鲁棒性方面优于经典变分方法与后处理网络？
• RQ4 能否将合成网络的训练与前向算子解耦，实现在不同反问题中的复用？
• RQ5 在训练数据中包含含伪影图像时，对深度合成正则化的鲁棒性有何影响？

主要发现

• 在无噪声数据上，DESYRE 的 PSNR 为 $ 35.49 /pm 0.55 $，NMSE 为 $ 0.004 /pm 0.0009 $，在定量指标上优于 Tikhonov 和 TV 正则化。
• 在噪声环境下，DESYRE 能有效去除噪声并减少伪影，尽管其图像比 TV 正则化更模糊，表明在降噪与边缘保持之间存在权衡。
• 在 30 个投影视图的稀疏视图 CT 问题上（未在训练中出现），DESYRE 显著减少了伪影，而基于 60 个视图训练的后处理网络则引入了新的虚假结构。
• 后处理网络无法纠正来自不同前向算子的重建结果，而 DESYRE 在无需重新训练的情况下保持了性能，展示了其泛化能力。
• 当应用于不同前向算子的数据时，DESYRE 不会引入新伪影，而与之相比，后处理网络会引入伪影，凸显了其对算子变化的鲁棒性。
• 理论分析证实，DESYRE 在标准源条件下满足收敛性条件，并实现了线性收敛速率，为基于深度学习的反问题提供了坚实的数学基础。