[论文解读] Async-RED: A Provably Convergent Asynchronous Block Parallel Stochastic Method using Deep Denoising Priors

Yu Sun, Jiaming Liu+3 more|arXiv (Cornell University)|May 3, 2021

Sparse and Compressive Sensing Techniques参考文献 65被引用 5

一句话总结

本文提出Async-RED，一种可证明收敛的异步块并行随机优化方法，将预训练的深度去噪器作为图像先验，用于求解大规模反问题。通过支持随机子集采样和理论收敛保证的并行处理，Async-RED在保持最先进图像恢复性能的同时，显著加快了收敛速度，优于串行RED方法。

ABSTRACT

Regularization by denoising (RED) is a recently developed framework for solving inverse problems by integrating advanced denoisers as image priors. Recent work has shown its state-of-the-art performance when combined with pre-trained deep denoisers. However, current RED algorithms are inadequate for parallel processing on multicore systems. We address this issue by proposing a new{asynchronous RED (Async-RED) algorithm that enables asynchronous parallel processing of data, making it significantly faster than its serial counterparts for large-scale inverse problems. The computational complexity of Async-RED is further reduced by using a random subset of measurements at every iteration. We present a complete theoretical analysis of the algorithm by establishing its convergence under explicit assumptions on the data-fidelity and the denoiser. We validate Async-RED on image recovery using pre-trained deep denoisers as priors.

研究动机与目标

• 为解决现有基于去噪的正则化（RED）算法在大规模反问题中缺乏高效并行化的问题。
• 在RED框架中实现数据的异步块并行处理，以提升多核系统上的计算速度。
• 通过在每次迭代中采样测量值的随机子集，降低计算复杂度。
• 在对数据保真项和去噪器行为的明确假设下，建立所提方法的理论收敛性。
• 通过使用预训练的深度去噪器作为先验，在图像恢复任务中验证该方法的性能。

提出的方法

• 提出一种异步块并行优化框架，其中多个数据块独立处理并异步更新，无需同步。
• 在每次迭代中引入使用测量值随机子集的随机更新，以降低计算负载。
• 在RED框架中使用深度去噪器作为图像先验，利用预训练模型实现高质量正则化。
• 在对数据保真项和去噪器行为的明确假设下，推导出收敛性保证，包括有界性和连续性。
• 采用分块更新策略，每个处理器处理变量子集，并异步通信更新。
• 基于李雅普诺夫函数分析，在较弱假设下证明算法收敛至驻点。

实验结果

研究问题

• RQ1 能否有效将异步并行处理集成到RED框架中，以加速大规模反问题的求解？
• RQ2 在每次迭代中使用测量值的随机子集，是否能在降低计算成本的同时保持收敛性？
• RQ3 在何种假设下，所提出的Async-RED算法能收敛至驻点解？
• RQ4 在速度和重建质量方面，Async-RED与串行RED相比表现如何？
• RQ5 预训练的深度去噪器能否在异步、随机优化设置中有效用于图像恢复？

主要发现

• 在对数据保真项和去噪器行为的明确假设下，Async-RED实现了可证明收敛，将理论保证扩展至异步设置。
• 通过在多核架构上利用异步并行性，该算法在速度上显著优于串行RED。
• 使用测量值的随机子集可降低每次迭代的计算复杂度，同时不损害收敛性或重建质量。
• 实验结果表明，当结合预训练的深度去噪器时，Async-RED在图像恢复性能上达到最先进水平。
• 即使每次迭代的计算量减少，该方法仍能保持高重建保真度，适用于大规模问题。