[论文解读] Accelerated PDE's for efficient solution of regularized inversion problems

Minas Benyamin, Jeff Calder+2 more|arXiv (Cornell University)|Sep 30, 2018

Sparse and Compressive Sensing Techniques参考文献 22被引用 4

一句话总结

本文提出了PDE加速（PDE Acceleration），这是一种新颖的框架，将基于动量的优化方法推广至偏微分方程（PDE）领域，用非线性阻尼波动方程替代传统的基于扩散的梯度下降方法。通过利用加速PDE，该方法实现了更优的CFL条件（Δt ∼ Δx），而非扩散方案中的严格限制Δt ∼ Δx²，从而在仅对现有PDE代码进行极少算法修改的前提下，实现了更快的收敛速度和稳定、高质量的图像复原效果，适用于去噪、去模糊和图像修复任务。

ABSTRACT

We further develop a new framework, called PDE Acceleration, by applying it to calculus of variations problems defined for general functions on $\mathbb{R}^n$, obtaining efficient numerical algorithms to solve the resulting class of optimization problems based on simple discretizations of their corresponding accelerated PDE's. While the resulting family of PDE's and numerical schemes are quite general, we give special attention to their application for regularized inversion problems, with particular illustrative examples on some popular image processing applications. The method is a generalization of momentum, or accelerated, gradient descent to the PDE setting. For elliptic problems, the descent equations are a nonlinear damped wave equation, instead of a diffusion equation, and the acceleration is realized as an improvement in the CFL condition from $Δt\sim Δx^{2}$ (for diffusion) to $Δt\sim Δx$ (for wave equations). We work out several explicit as well as a semi-implicit numerical schemes, together with their necessary stability constraints, and include recursive update formulations which allow minimal-effort adaptation of existing gradient descent PDE codes into the accelerated PDE framework. We explore these schemes more carefully for a broad class of regularized inversion applications, with special attention to quadratic, Beltrami, and Total Variation regularization, where the accelerated PDE takes the form of a nonlinear wave equation. Experimental examples demonstrate the application of these schemes for image denoising, deblurring, and inpainting, including comparisons against Primal Dual, Split Bregman, and ADMM algorithms.

研究动机与目标

• 为解决传统梯度下降在变分图像处理中因刚性稳定性约束（Δt ∼ Δx²）导致的收敛缓慢问题。
• 将基于动量的优化方法（如Nesterov、Polyak）推广至PDE框架，用于变分法问题。
• 基于加速PDE开发高效、稳定的数值格式，其性能优于现有方法（如原始对偶法和分裂Bregman法）在速度和边缘保持方面的表现。
• 通过递归更新格式，实现将现有梯度下降PDE代码以最小代价迁移至加速框架。
• 通过在非线性波动方程上使用简单显式格式，展示在图像去噪、去模糊和图像修复任务中达到最先进性能。

提出的方法

• 通过将优化流建模为二阶非线性阻尼波动方程而非扩散方程，将加速梯度下降推广至PDE领域。
• 基于拉格朗日力学的变分框架，推导出加速PDE作为Nesterov和Polyak的重球法等动量方法的连续极限。
• 应用显式和半隐式有限差分格式对加速PDE进行离散化，其稳定性约束基于能量衰减和非线性阻尼效应推导得出。
• 使用前向差分计算梯度，后向差分计算散度，以确保离散伴随一致性，这对数值稳定性至关重要。
• 实现递归更新格式，使现有梯度下降PDE代码可仅通过极少代码修改即转换为加速PDE求解器。
• 采用齐次诺伊曼边界条件，并通过零值替换处理梯度中的奇点（如|∇u| = 0），以避免数值问题。

实验结果

研究问题

• RQ1 能否将离散优化中的基于动量的加速方法推广至R^n上变分问题的连续PDE优化框架？
• RQ2 加速PDE在图像处理应用中的稳定性和收敛性特性与经典扩散型PDE相比如何？
• RQ3 用非线性波动方程替代扩散方程对CFL条件和数值效率有何影响？
• RQ4 在加速PDE上使用简单显式格式能否在图像复原任务中实现与Primal Dual和Split Bregman等先进算法相当的性能？
• RQ5 时间步长（Δt）的选择如何影响加速PDE格式的稳定性和收敛性，特别是在Δt ∼ Δx条件下？

主要发现

• PDE加速实现了Δt ∼ Δx的CFL条件，相较于标准扩散型PDE的Δt ∼ Δx²约束有显著改进，从而支持更大的时间步长和更快的收敛速度。
• 在总变差（TV）去噪任务中，PDE加速在0.85秒内达到高质量解，而原始对偶法耗时1.12秒，Split Bregman法耗时10.4秒，且边缘保持效果更优。
• 即使在较大时间步长（Δt ≤ Δx）下，该方法仍保持L^∞稳定性，解趋向于稳定的振荡稳态而非发散。
• 在图像去噪和去模糊任务中，PDE加速在相同能量水平下生成的图像质量优于原始对偶法，尤其在保持锐利边缘方面表现更佳。
• 递归更新格式使得现有梯度下降PDE代码可仅通过极少修改即转换为加速PDE求解器，实现快速部署。
• 实验结果证实，PDE加速在TV基图像复原任务中，无论是速度还是图像质量方面，均优于Split Bregman和原始对偶法，能量衰减曲线显示其收敛速度更快。