[论文解读] A Fast Stochastic Plug-and-Play ADMM for Imaging Inverse Problems

Junqi Tang, Mike E. Davies|arXiv (Cornell University)|Jun 20, 2020

Sparse and Compressive Sensing Techniques参考文献 38被引用 4

一句话总结

该论文提出了一种快速随机插件-即用型ADMM算法，通过在不精确ADMM框架内集成随机梯度下降，减少了成像逆问题中昂贵的去噪器调用次数。该方法在收敛速度和运行时间方面优于以往的随机PnP方法，具有理论上的固定点收敛保证，并在低剂量和稀疏视角CT重建中表现出色。

ABSTRACT

In this work we propose an efficient stochastic plug-and-play (PnP) algorithm for imaging inverse problems. The PnP stochastic gradient descent methods have been recently proposed and shown improved performance in some imaging applications over standard deterministic PnP methods. However, current stochastic PnP methods need to frequently compute the image denoisers which can be computationally expensive. To overcome this limitation, we propose a new stochastic PnP-ADMM method which is based on introducing stochastic gradient descent inner-loops within an inexact ADMM framework. We provide the theoretical guarantee on the fixed-point convergence for our algorithm under standard assumptions. Our numerical results demonstrate the effectiveness of our approach compared with state-of-the-art PnP methods.

研究动机与目标

• 解决现有用于成像逆问题的随机插件-即用型（PnP）方法中频繁调用去噪器带来的高计算成本问题。
• 通过减少去噪器评估次数而不牺牲收敛性，提升随机PnP算法的实际可用性。
• 开发一种结合不精确ADMM与内层随机梯度下降的随机PnP-ADMM框架，以实现高效优化。
• 在标准假设下提供理论上的固定点收敛性分析，以支持该算法的可靠性。
• 在实际成像任务中（尤其是低剂量和稀疏视角计算机断层扫描（CT））验证该方法的有效性。

提出的方法

• 在不精确ADMM框架的内层循环中集成随机梯度下降（SGD），以减少对重复去噪器调用的依赖。
• 使用随机子采样的数据索引计算的小批量梯度，以高效估计完整梯度。
• 在z变量更新步骤中采用动量更新，受FISTA启发，以加速收敛。
• 每轮外层ADMM迭代仅调用一次去噪器（例如，带缩放的BM3D），显著降低计算开销。
• 采用固定步长策略，其中$\tau = 1$，且$\theta_j = \frac{j-1}{j+3}$用于动量，确保稳定且自适应的更新。
• 将算法表述为固定点迭代，并通过 successive iterates 之间差异的误差界分析收敛性。

实验结果

研究问题

• RQ1 能否有效结合随机梯度技术与ADMM于插件-即用型框架中，以减少去噪器调用次数？
• RQ2 与现有的PnP-SGD和PnP-FISTA方法相比，所提出的随机PnP-ADMM是否实现了更快的收敛速度和更低的运行时间？
• RQ3 在标准假设下，特别是当子问题解不精确时，所提出的方法是否具有理论收敛性？
• RQ4 该算法在实际成像任务（如低剂量和稀疏视角CT重建）中的表现如何？
• RQ5 该方法是否能在显著降低昂贵去噪器计算成本的同时，保持高重建质量？

主要发现

• 尽管数据遍历次数略多，所提出的随机PnP-ADMM由于去噪器调用次数更少，运行时间仍快于PnP-SGD。
• 在低剂量CT重建中，该方法在时间维度上的估计误差表现优于PnP-SGD和PnP-FISTA，能更快收敛至更低误差水平。
• 在稀疏视角CT中，该算法在重建质量和速度方面均表现出优越性能，尤其在去噪器计算成为瓶颈时更为显著。
• 理论分析证实，在标准假设下存在固定点收敛性，且误差项随$k \to \infty$而减小。
• 实证结果表明，强凸性并非收敛所必需，表明该方法在非强凸设置下仍具鲁棒性。
• 对去噪器缩放参数($\gamma$)进行网格搜索后性能达到最优，证实了在框架中对去噪器进行恰当校准的重要性。