[论文解读] Plug-and-Play Methods Provably Converge with Properly Trained Denoisers

Ernest K. Ryu, Jialin Liu+4 more|arXiv (Cornell University)|May 14, 2019

Sparse and Compressive Sensing Techniques被引用 100

一句话总结

本文证明了在去噪器具有 Lipschitz 条件下 PnP-FBS 与 PnP-ADMM 的收敛，并引入实谱归一化(real spectral normalization, realSN) 来训练去噪器以满足该条件，实验验证理论。

ABSTRACT

Plug-and-play (PnP) is a non-convex framework that integrates modern denoising priors, such as BM3D or deep learning-based denoisers, into ADMM or other proximal algorithms. An advantage of PnP is that one can use pre-trained denoisers when there is not sufficient data for end-to-end training. Although PnP has been recently studied extensively with great empirical success, theoretical analysis addressing even the most basic question of convergence has been insufficient. In this paper, we theoretically establish convergence of PnP-FBS and PnP-ADMM, without using diminishing stepsizes, under a certain Lipschitz condition on the denoisers. We then propose real spectral normalization, a technique for training deep learning-based denoisers to satisfy the proposed Lipschitz condition. Finally, we present experimental results validating the theory.

研究动机与目标

• 动机：在图像重建中，在近端优化框架（PnP）内使用去噪器。
• 在去噪器满足 Lipschitz 假设的条件下，建立 PnP-FBS 和 PnP-ADMM 在不需要逐步减小步长的情况下的收敛性。
• 引入实谱归一化(realSN) 来训练深度去噪器，使其满足 Lipschitz 条件。
• 给出在 Poisson 去噪、单光子成像和 CS-MRI 中的理论结果和实验验证。

提出的方法

• 将 PnP-FBS 和 PnP-ADMM 建模为通过去噪器和近端算子实现的不动点迭代。
• 施加假设 (A)：(H_sigma - I) 具备 Lipschitz 常数 epsilon，从而实现收缩性证明。
• 推导 PNP-FBS 与 PNP-DRS 的收缩因子，得到关于步长参数 alpha 的收敛条件。
• 为了解析可行性，展示 PNP-ADMM 与 PNP-DRS 的等价性。
• 引入实谱归一化(realSN) 来训练去噪器，使得在实践中 Lipschitz 假设成立。
• 在带 RealSN 的高斯去噪框架去噪器（DnCNN 与 SimpleCNN）上实现与评估，并以 BM3D 作为基线。

实验结果

研究问题

• RQ1 当去噪器不具备非扩张性或不可微时，Plug-and-Play Forward-Backward Splitting (PnP-FBS) 和 PnP-ADMM 在何种条件下收敛？
• RQ2 对去噪器的 Lipschitz 型约束（假设 A）是否能保证收缩性，从而在不减小步长的情况下确保 PnP 迭代的收敛？
• RQ3 如何在实践中有效地训练去噪器以满足 Lipschitz 条件？
• RQ4 经过 realSN 训练的去噪器是否在 Poisson 去噪、单光子成像和 CS-MRI 中提升收敛性和经验去噪性能？

主要发现

• 在假设 (A) 和 f 的强凸性下，PnP-FBS 与 PnP-DRS 是收缩的，得到到固定点的几何收敛。
• PnP-FBS 的收敛条件需要 alpha 的一个 beta 区间，当 epsilon < 2 mu /(L - mu) 时存在。
• PnP-DRS 与 PnP-ADMM 的收敛在显式边界下成立，边界涉及 epsilon 与 mu，其中 ADMM 固定点结果需要 epsilon < 1。
• 实谱归一化(realSN) 提高深度去噪器的 Lipschitz 上界，使得假设 (A) 在实践中更具现实性。
• Poisson 去噪的实验表明 RealSN 改善了收敛行为，并且在 ADMM 下，与 BM3D 相比获得具竞争力的 PSNR；在若干任务中 ADMM 通常优于 FBS。
• 将 RealSN 增强的去噪器接入 PnP 框架时，在 CS-MRI 和单光子成像中的重建性能更好。