[论文解读] iPiano: Inertial Proximal Algorithm for Non-Convex Optimization

Peter Ochs, Yunjin Chen+2 more|arXiv (Cornell University)|Apr 18, 2014

Sparse and Compressive Sensing Techniques参考文献 35被引用 15

一句话总结

该论文提出iPiano，一种用于非凸优化的惯性邻近算法，结合了前向-后向分裂法与受Heavy-ball方法启发的惯性力。该方法建立了函数值的全局收敛性以及迭代序列的有界性，并在Kurdyka-Łojasiewicz不等式条件下实现了对临界点的收敛，相较于现有方法在图像去噪与压缩任务中表现出更快的收敛速度。

ABSTRACT

In this paper we study an algorithm for solving a minimization problem composed of a differentiable (possibly non-convex) and a convex (possibly non-differentiable) function. The algorithm iPiano combines forward-backward splitting with an inertial force. It can be seen as a non-smooth split version of the Heavy-ball method from Polyak. A rigorous analysis of the algorithm for the proposed class of problems yields global convergence of the function values and the arguments. This makes the algorithm robust for usage on non-convex problems. The convergence result is obtained based on the \KL inequality. This is a very weak restriction, which was used to prove convergence for several other gradient methods. First, an abstract convergence theorem for a generic algorithm is proved, and, then iPiano is shown to satisfy the requirements of this theorem. Furthermore, a convergence rate is established for the general problem class. We demonstrate iPiano on computer vision problems: image denoising with learned priors and diffusion based image compression.

研究动机与目标

• 解决非凸、非光滑优化问题，其中目标函数为光滑（可能非凸）部分与凸（可能不可微）部分之和的复合问题。
• 通过引入惯性项，克服标准前向-后向分裂法单调递减函数值但收敛速度可能较慢的局限性。
• 设计一种鲁棒算法，在标准凸分析工具失效的非凸设置下仍保持收敛保证。
• 在弱假设下建立理论收敛性，特别是Kurdyka-Łojasiewicz不等式，该条件是非凸设置下收敛的最小结构要求。
• 在真实计算机视觉问题（如基于学习先验的图像去噪与基于扩散的图像压缩）中展示该算法的实践优越性。

提出的方法

• 提出一种迭代算法，结合前向步（光滑部分的梯度下降）与后向步（凸部分的近端算子），并通过惯性项加速收敛。
• 采用更新规则：$ x^{n+1} = (I + \alpha \partial g)^{-1}(x^n - \alpha \nabla f(x^n) + \beta(x^n - x^{n-1})) $，其中 $ \alpha $ 与 $ \beta $ 为步长参数。
• 引入受Heavy-ball方法启发的惯性力 $ \beta(x^n - x^{n-1}) $，以模拟物理系统中的动量，提升收敛速度。
• 建立适用于不精确下降法的一般收敛框架，并通过验证其满足抽象收敛条件，将该框架特化至iPiano。
• 利用Kurdyka-Łojasiewicz（KL）不等式证明在弱假设下，整个迭代序列收敛至一个临界点。
• 通过利用大规模问题（如图像压缩）中的稀疏性，采用高效的线性求解器（如MATLAB的反斜杠运算）实现算法高效计算。

实验结果

研究问题

• RQ1 能否设计并证明一种惯性邻近算法，使其在非凸复合优化问题中实现全局收敛？
• RQ2 即使函数值不再单调递减，惯性项的引入是否仍能实现比标准前向-后向分裂法更快的收敛速度？
• RQ3 在何种弱结构假设下（如KL不等式），可在非凸设置中保证收敛至临界点？
• RQ4 iPiano能否在实际计算机视觉应用（如基于学习先验的图像去噪与压缩）中优于现有求解器？
• RQ5 iPiano的收敛速率是多少？其与理论界和实际性能相比如何？

主要发现

• iPiano实现了对一般非凸复合问题类函数值的全局收敛性以及参数序列的有界性。
• 所有迭代序列的极限点均为目标函数的临界点；在Kurdyka-Łojasiewicz不等式条件下，整个序列收敛至单个临界点。
• 对于平方近端残差，算法实现了 $ O(1/n) $ 的收敛速率，而实际性能显著快于该上界。
• 在基于学习先验的图像去噪任务中，iPiano成功学习到有效的先验，提升了重建质量。
• 在基于扩散的图像压缩任务中，iPiano仅用1000次迭代即找到能量更低的最优掩码（21.57 vs. 21.63，SPD方法），优于SPD方法（需200×4000次迭代）。
• 在灰度值优化（GVO）后处理后，iPiano在三幅测试图像中的两幅上实现了略优于SPD的MSE，展现出最先进性能。