[论文解读] Accelerating ADMM for Efficient Simulation and Optimization

Juyong Zhang, Yue Peng+2 more|arXiv (Cornell University)|Sep 1, 2019

Sparse and Compressive Sensing Techniques参考文献 2被引用 6

一句话总结

本文提出使用Anderson加速来显著提升计算机图形学中非光滑、非凸优化问题的交替方向乘子法（ADMM）的收敛速度。通过将ADMM解释为不动点迭代，并应用Anderson加速——尤其针对可分离问题进行优化——该方法在保证收敛的前提下，大幅减少了迭代次数和计算时间，适用于图形应用中常见的非凸结构。

ABSTRACT

The alternating direction method of multipliers (ADMM) is a popular approach for solving optimization problems that are potentially non-smooth and with hard constraints. It has been applied to various computer graphics applications, including physical simulation, geometry processing, and image processing. However, ADMM can take a long time to converge to a solution of high accuracy. Moreover, many computer graphics tasks involve non-convex optimization, and there is often no convergence guarantee for ADMM on such problems since it was originally designed for convex optimization. In this paper, we propose a method to speed up ADMM using Anderson acceleration, an established technique for accelerating fixed-point iterations. We show that in the general case, ADMM is a fixed-point iteration of the second primal variable and the dual variable, and Anderson acceleration can be directly applied. Additionally, when the problem has a separable target function and satisfies certain conditions, ADMM becomes a fixed-point iteration of only one variable, which further reduces the computational overhead of Anderson acceleration. Moreover, we analyze a particular non-convex problem structure that is common in computer graphics, and prove the convergence of ADMM on such problems under mild assumptions. We apply our acceleration technique on a variety of optimization problems in computer graphics, with notable improvement on their convergence speed.

研究动机与目标

• 解决计算机图形学中常见高精度场景下ADMM收敛缓慢的问题。
• 克服ADMM在非凸问题上缺乏收敛保证的缺陷，而这类问题在图形应用中普遍存在。
• 降低加速技术的计算开销，使其适用于实时或交互式图形工作负载。
• 提供一种通用加速方法，适用于多种图形应用，无需针对具体问题进行调参。
• 为图形中广泛存在的非凸问题结构建立理论收敛性，提升ADMM的可靠性。

提出的方法

• 在一般情况下，将ADMM重新表述为对第二个原始变量和对偶变量的不动点迭代。
• 直接对不动点迭代应用Anderson加速，以加快收敛速度。
• 对于具有可分目标函数和特定结构条件的问题，将不动点迭代简化为单变量形式，从而最小化加速的计算成本。
• 引入基于残差的准则，以决定是否接受加速后的迭代值，从而提升稳定性和收敛行为。
• 利用常见图形问题的结构特性，优化Anderson加速的应用，降低每轮迭代的开销。
• 默认使用混合参数 β = 1，承认最优β选择问题仍为未来工作的开放课题。

实验结果

研究问题

• RQ1 Anderson加速能否有效应用于计算机图形学中常见的非凸优化问题的ADMM迭代？
• RQ2 在目标函数可分离的问题中，如何最小化ADMM应用Anderson加速的计算成本？
• RQ3 ADMM在图形应用的非凸问题中于何种条件下收敛？能否建立形式化证明？
• RQ4 在实际图形应用中，Anderson加速在减少迭代次数和总计算时间方面能达到何种程度？
• RQ5 当ADMM每轮迭代成本已极低时（如向量场积分），Anderson加速的局限性是什么？

主要发现

• Anderson加速显著减少了ADMM在多个图形应用中达到收敛所需的迭代次数，包括物理模拟、几何处理和图像处理。
• 与标准ADMM相比，该方法在相同计算时间内更快地降低联合残差，如图1所示，能更优地满足硬约束。
• 对于目标函数可分离的问题，Anderson加速的计算开销显著降低，使其更具有效性和实用性。
• 本文在较弱假设下证明了ADMM对图形中常见非凸问题结构的收敛性，扩展了其理论基础。
• 当ADMM迭代本身极为轻量（如向量场积分）时，Anderson加速的开销可能超过其收益，导致总计算时间增加，尽管迭代次数更少。
• 在某些情况下，该方法优于专用加速技术，例如在波前重建中，其性能与基于GMRES的加速相当，但具备通用性。