[论文解读] Bregman Augmented Lagrangian and Its Acceleration

Shen Yan, Niao He|arXiv (Cornell University)|Feb 15, 2020

Sparse and Compressive Sensing Techniques参考文献 40被引用 6

一句话总结

本文通过提出一种新型加速Bregman邻近点法，构建了加速的Bregman增广拉格朗日法（BALM），实现了对偶问题的收敛率提升至O(1/(∑√ηₖ)²)，对偶目标函数收敛率提升至O(1/T²)。研究表明，尽管对偶收敛可被加速，但原始问题的收敛率与约束违反度通常仍维持在O(1/T)水平，除非采用如Nesterov对偶平均等特定加速技术。

ABSTRACT

We study the Bregman Augmented Lagrangian method (BALM) for solving convex problems with linear constraints. For classical Augmented Lagrangian method, the convergence rate and its relation with the proximal point method is well-understood. However, the convergence rate for BALM has not yet been thoroughly studied in the literature. In this paper, we analyze the convergence rates of BALM in terms of the primal objective as well as the feasibility violation. We also develop, for the first time, an accelerated Bregman proximal point method, that improves the convergence rate from $O(1/\sum_{k=0}^{T-1}η_k)$ to $O(1/(\sum_{k=0}^{T-1}\sqrt{η_k})^2)$, where $\{η_k\}_{k=0}^{T-1}$ is the sequence of proximal parameters. When applied to the dual of linearly constrained convex programs, this leads to the construction of an accelerated BALM, that achieves the improved rates for both primal and dual convergences.

研究动机与目标

• 分析线性约束凸问题下Bregman增广拉格朗日法（BALM）的收敛速率。
• 提出一种加速Bregman邻近点法，将收敛速率从O(1/∑ηₖ)提升至O(1/(∑√ηₖ)²)。
• 构建一种加速BALM，实现对原始与对偶目标函数收敛速率的改进。
• 阐明现有加速ALM变体中对偶与原始收敛速率之间的差异。
• 提供反例，证明Güler的第二种加速方案无法将原始收敛速率提升至O(1/T)以上。

提出的方法

• 提出一种新型加速Bregman邻近点法，收敛速率为O(1/(∑√ηₖ)²)，优于标准的O(1/∑ηₖ)速率。
• 将该加速邻近点法应用于线性约束凸规划的拉格朗日对偶问题。
• 采用Nesterov的加速对偶平均法作为基准，对比原始收敛性能。
• 推导并分析三种加速ALM变体：Güler的第一种与第二种方案，以及Nesterov的对偶平均法。
• 通过一个简单线性规划的反例，证明Güler的第二种方案即使在对偶收敛达到O(1/T²)时，原始收敛速率仍仅为O(1/T)。
• 在对偶问题加速的背景下，正式证明Nesterov对偶平均法与Güler的第一种加速邻近点法等价。

实验结果

研究问题

• RQ1 BALM的收敛速率能否在原始与对偶目标函数上均超越标准的O(1/T)速率？
• RQ2 在加速Bregman邻近点法中，邻近参数序列{ηₖ}与收敛速率之间存在何种关系？
• RQ3 为何现有加速ALM变体即使实现了对偶收敛加速，也无法实现O(1/T²)的原始收敛速率？
• RQ4 是否存在一种方法，能在具有线性约束的凸规划中，同时实现原始与对偶目标函数的O(1/T²)收敛速率？
• RQ5 加速方案的选择（如Güler的第一种与第二种方案、Nesterov对偶平均法）如何影响原始收敛速率？

主要发现

• 加速Bregman邻近点法实现了O(1/(∑√ηₖ)²)的收敛速率，优于标准的O(1/∑ηₖ)速率。
• 对于线性规划问题，对偶目标函数收敛速率为O(1/T²)，但原始目标函数与约束违反度的收敛速率仅为O(1/T)，即使在对偶加速的情况下亦然。
• Güler的第二种加速方案应用于对偶问题时，无法将原始收敛速率提升至O(1/T)以上，反例已证实此结论。
• Nesterov的加速对偶平均法在等式约束线性规划问题中实现了O(1/T²)的原始收敛速率，与对偶速率一致。
• 在附录中正式证明了Nesterov对偶平均法与Güler的第一种加速邻近点法之间的等价性。
• 本研究确立了对偶问题的加速并不必然意味着原始问题的加速，凸显了两类收敛行为之间的关键差异。