[论文解读] Learning convex regularizers satisfying the variational source condition for inverse problems

Subhadip Mukherjee, Carola‐Bibiane Schönlieb+1 more|arXiv (Cornell University)|Oct 24, 2021

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出ACR-SC方法，通过在对抗训练过程中强制执行变分源条件（SC），学习凸正则化项以解决反问题。通过在损失函数中添加基于SC的惩罚项，该方法确保真实图像最小化变分能量，从而在保持与原始ACR方法相当性能的同时，实现严格的O(δ)收敛速率估计。

ABSTRACT

Variational regularization has remained one of the most successful approaches for reconstruction in imaging inverse problems for several decades. With the emergence and astonishing success of deep learning in recent years, a considerable amount of research has gone into data-driven modeling of the regularizer in the variational setting. Our work extends a recently proposed method, referred to as adversarial convex regularization (ACR), that seeks to learn data-driven convex regularizers via adversarial training in an attempt to combine the power of data with the classical convex regularization theory. Specifically, we leverage the variational source condition (SC) during training to enforce that the ground-truth images minimize the variational loss corresponding to the learned convex regularizer. This is achieved by adding an appropriate penalty term to the ACR training objective. The resulting regularizer (abbreviated as ACR-SC) performs on par with the ACR, but unlike ACR, comes with a quantitative convergence rate estimate.

研究动机与目标

• 将数据驱动的深度学习与经典变分正则化相结合，通过学习满足变分源条件的凸正则化项。
• 为反问题中学习到的正则化项提供理论收敛速率估计，而这类估计在纯数据驱动方法中通常缺失。
• 通过引入变分分析中的结构约束，提升对抗凸正则化（ACR）的泛化性与稳定性。
• 在保持高重建质量的同时确保理论保证，避免额外引入Tikhonov项的需要。

提出的方法

• 该方法引入一个惩罚项 $ L_{\text{sc}}(\theta) $，通过最小化 $ \ell_{\text{sc}}(x;\theta) = \| (A^*)^{-1} \nabla_x \psi(x;\theta) \| $，促使真实图像满足变分源条件。
• 整体训练目标结合了数据重建、对抗正则化、梯度惩罚和SC惩罚：$ L(\theta) = \frac{1}{n}\sum_i \psi_\theta(x_i) - \frac{1}{n}\sum_i \psi_\theta(z_i) + \lambda_{\text{gp}}L_{\text{gp}}(\theta) + \lambda_{\text{sc}}L_{\text{sc}}(\theta) $。
• 正则化项采用输入凸神经网络（ICNN）建模，确保凸性并支持理论分析。
• 通过Bregman距离强制执行源条件，将解的正则性与收敛速率估计关联起来。
• 使用梯度下降求解采用学习正则化项的变分问题，超参数经调优以兼顾稳定性和性能。

实验结果

研究问题

• RQ1 是否可以在数据驱动凸正则化器的训练过程中强制执行变分源条件，以确保理论收敛保证？
• RQ2 与标准对抗凸正则化相比，强制执行源条件是否会降低重建性能？
• RQ3 学习到的凸正则化器能否在噪声水平δ趋近于零时实现O(δ)的收敛速率？
• RQ4 引入源条件惩罚项如何影响学习正则化器的泛化性与稳定性？

主要发现

• 在Mayo-clinic CT数据上，ACR-SC的PSNR为31.28±0.50 dB，SSIM为0.84±0.01，略低于ACR，但理论保证更强。
• 该方法通过Bregman距离实现了O(δ)的收敛速率估计，这是先前数据驱动方法中所缺乏的关键理论贡献。
• ACR-SC的参数量（590,928）少于ACR（606,610），表明参数效率更高。
• ACR-SC的重建时间（105,232.1±378.5 ms）与ACR（109,952.4±497.8 ms）相当，表明计算开销无显著增加。
• 在去噪任务中，ACR-SC结合Bregman优化方法的SSIM更高（0.86），且对比度恢复效果优于标准梯度下降。
• 与ACR相比性能下降微乎其微，表明强制执行源条件并未严重损害重建质量。