[论文解读] Extending the ergodic convergence rate of the proximal ADMM

Max L. N. Gonçalves, Jefferson G. Melo+1 more|arXiv (Cornell University)|Nov 9, 2016

Optimization and Variational Analysis参考文献 28被引用 5

一句话总结

本文将近似 ADMM 的遍历迭代复杂度分析扩展至步长 $\theta = (1 + \sqrt{5})/2$，该值此前在文献中尚未被确立。通过证明近似 ADMM 是一种非欧几里得混合近似梯度（NE-HPE）框架的特例，作者为 $\theta \in (0, (1 + \sqrt{5})/2]$ 推导出新的点态与遍历收敛速率，为这一关键步长值提供了更紧的复杂度界。

ABSTRACT

Pointwise and ergodic iteration-complexity results for the proximal alternating direction method of multipliers (ADMM) for any stepsize in(0,(1+\sqrt{5})/2) have been recently established in the literature. In addition to giving alternative proofs of these results, this paper also extends the ergodic iteration-complexity result to include the case in which the stepsize is equal to (1+\sqrt{5})/$. As far as we know, this is the first ergodic iteration-complexity for the stepsize (1+\sqrt{5})/2 obtained in the ADMM literature. These results are obtained by showing that the proximal ADMM is an instance of a non-Euclidean hybrid proximal extragradient framework whose pointwise and ergodic convergence rate are also studied.

研究动机与目标

• 将近似 ADMM 的遍历迭代复杂度结果扩展至包含步长 $\theta = (1 + \sqrt{5})/2$，该值此前在文献中尚未被确立。
• 利用非欧几里得混合近似梯度（NE-HPE）框架，为近似 ADMM 提供替代的收敛速率分析。
• 在更广泛的步长范围内，包括最优值 $\theta = (1 + \sqrt{5})/2$，建立近似 ADMM 的点态与遍历迭代复杂度界。
• 通过将近似 ADMM 嵌入更广泛的带有 Bregman 距离的不精确近似点方法类中，统一并推广现有收敛结果。

提出的方法

• 利用 Bregman 距离与相对误差准则，将近似 ADMM 重新表述为一种非欧几里得混合近似梯度（NE-HPE）框架的特例。
• 引入一种基于相对误差条件的新终止准则，使对遍历迭代序列的收敛分析更加紧密。
• 利用 $(1,1)$-正则距离生成函数及其相关 Bregman 距离的性质，来界定对偶间隙。
• 通过柯西-施瓦茨不等式和恒等式 $2ab \leq a^2 + b^2$ 推导关键不等式，以控制子问题更新中的误差项。
• 通过平均迭代 $z_k^a$ 建立遍历收敛速率，误差界依赖于初始对偶间隙 $d_0$ 和残差项 $\eta_0$。
• 通过验证近似 ADMM 满足 NE-HPE 框架的包含条件与误差容限规则，验证了分析的有效性。

实验结果

研究问题

• RQ1 能否将近似 ADMM 的遍历迭代复杂度扩展至包含步长 $\theta = (1 + \sqrt{5})/2$？
• RQ2 与以往方法相比，非欧几里得 HPE 框架如何实现对近似 ADMM 更紧的收敛速率界？
• RQ3 Bregman 距离与相对误差准则在提升近似 ADMM 收敛复杂度方面起到什么作用？
• RQ4 是否能够通过统一框架为 $\theta \in (0, (1 + \sqrt{5})/2]$ 的近似 ADMM 推导出点态与遍历收敛速率？

主要发现

• 首次在文献中实现将近似 ADMM 的遍历迭代复杂度扩展至 $\theta = (1 + \sqrt{5})/2$，该结果具有开创性意义。
• 遍历次优性间隙满足 $\varepsilon_k^a \leq \frac{3[3\theta^2(d_0 + \eta_0) + 4\sigma_\theta(1 + \tau_\theta)(\theta^2 + \theta + 1)d_0]}{\theta^2 k}$，对所有 $k \geq 1$ 成立，其中 $d_0$ 为初始对偶间隙。
• 遍历迭代范数满足 $\|(r_k^a)^*\| \leq \frac{2\sqrt{2(d_0 + \eta_0)}}{k}$，表明遍历迭代的收敛速率为 $O(1/k)$。
• 正式证明近似 ADMM 是 NE-HPE 框架的一个实例，从而为一大类 ADMM 变体提供了统一的收敛分析。
• 该分析为文献中已有的收敛结果提供了替代证明，尤其适用于 $\theta \in (0, (1 + \sqrt{5})/2)$ 的情形。
• 该框架允许采用一般正半定的近似项 $H$ 和 $G$，从而将适用范围扩展至更广泛的凸优化问题类别。