[论文解读] An inertial alternating direction method of multipliers

Radu Ioan Boţ, Ernö Robert Csetnek|arXiv (Cornell University)|Apr 17, 2014

Optimization and Variational Analysis参考文献 29被引用 70

一句话总结

本文通过在经典ADMM中引入惯性效应，基于惯性Douglas-Rachford分裂框架，提出了一种用于希尔伯特空间中凸优化的惯性交替方向乘子法（ADMM）。该方法实现了迭代序列和目标值的弱收敛，在标准单调性和正则性条件下具有全局收敛保证，当惯性参数消失时，可退化为经典ADMM的特例。

ABSTRACT

In the context of convex optimization problems in Hilbert spaces, we induce inertial effects into the classical ADMM numerical scheme and obtain in this way so-called inertial ADMM algorithms, the convergence properties of which we investigate into detail. To this aim we make use of the inertial version of the Douglas-Rachford splitting method for monotone inclusion problems recently introduced in [12], in the context of concomitantly solving a convex minimization problem and its Fenchel dual. The convergence of both sequences of the generated iterates and of the objective function values is addressed. We also show how the obtained results can be extended to the treating of convex minimization problems having as objective a finite sum of convex functions.

研究动机与目标

• 开发经典ADMM算法的惯性变体，以加速凸优化问题的收敛速度。
• 将ADMM框架扩展至无限维希尔伯特空间，超越有限维设置的局限性，提升一般性。
• 在惯性动力学下，建立原始和对偶迭代序列以及目标函数值的收敛性。
• 通过将现有ADMM类算法作为所提惯性方案的特例，实现统一与推广。
• 基于单调算子理论和Fenchel对偶性，为ADMM中的惯性效应提供理论基础。

提出的方法

• 该方法从应用于单调包含问题的惯性Douglas-Rachford分裂算法中推导出惯性ADMM。
• 通过时间离散化的二阶微分包含，利用前两个迭代的外推实现惯性效应。
• 该算法通过涉及极大单调算子的预解算子和凸函数次微分的原始-对偶分裂格式进行公式化。
• 关键组成部分包括控制类似动量更新的惯性参数 $\alpha_k$ 和用于超松弛的松弛参数 $\lambda_k$。
• 通过最小化带有惯性项的增广拉格朗日函数，推导出 $x^{k+1}$、$z_i^{k+1}$ 和 $y_i^{k+1}$ 的更新规则。
• 在单个和有限和凸优化问题上应用该方案，证明在Fenchel对偶性和正则性条件下具有收敛性。

实验结果

研究问题

• RQ1 能否成功地将惯性效应整合到经典ADMM框架中，以加速凸优化中的收敛？
• RQ2 与有限维设置相比，惯性ADMM在无限维希尔伯特空间中的表现如何？
• RQ3 为确保收敛，惯性参数 $\alpha_k$ 和松弛参数 $\lambda_k$ 需要满足哪些必要条件？
• RQ4 当惯性参数消失时，惯性ADMM是否能退化为经典ADMM？
• RQ5 所提方法能否扩展至处理凸函数的有限和形式，同时保持收敛性？

主要发现

• 当惯性参数 $\alpha_k$ 有界且非递减时，惯性ADMM算法弱收敛于原始问题的最优解，同时弱收敛于对偶最优解。
• 序列 $\overline{z}_i^k$ 强收敛于零，表明惯性校正项在渐近下趋于消失。
• $x_i^{k+1} - z_i^k$ 的差强收敛于零，确保了极限情况下的原始可行性。
• 对偶迭代序列 $y_i^k$ 弱收敛于最优对偶解 $\overline{v}_i$，若共轭函数 $f_i^*$ 为强凸，则收敛为强收敛。
• 目标函数值收敛于最优值 $v(P^\Sigma) = v(D^\Sigma)$，证实了最优代价的收敛性。
• 当对所有 $k \geq 1$ 有 $\alpha_k = 0$ 时，经典ADMM作为特例被恢复，验证了该方法的推广性。