[論文レビュー] Bregman Augmented Lagrangian and Its Acceleration

Shen Yan, Niao He|arXiv (Cornell University)|Feb 15, 2020

Sparse and Compressive Sensing Techniques参考文献 40被引用数 6

ひとこと要約

本稿では、新たな加速 Bregman 前方点プロキシマル点法を開発することで、線形制約付き凸問題に対する加速 Bregman増大ラグランジュ法 (BALM) を提案し、双対問題の収束速度を O(1/(∑√ηₖ)²)、双対目的関数の収束速度を O(1/T²) に改善した。双対収束は加速可能であるが、通常、原状収束および妥協違反は O(1/T) のままに留まり、Nesterov の双対平均法などの特定の加速技術が適用されない限り、改善されないことが示された。

ABSTRACT

We study the Bregman Augmented Lagrangian method (BALM) for solving convex problems with linear constraints. For classical Augmented Lagrangian method, the convergence rate and its relation with the proximal point method is well-understood. However, the convergence rate for BALM has not yet been thoroughly studied in the literature. In this paper, we analyze the convergence rates of BALM in terms of the primal objective as well as the feasibility violation. We also develop, for the first time, an accelerated Bregman proximal point method, that improves the convergence rate from $O(1/\sum_{k=0}^{T-1}η_k)$ to $O(1/(\sum_{k=0}^{T-1}\sqrt{η_k})^2)$, where $\{η_k\}_{k=0}^{T-1}$ is the sequence of proximal parameters. When applied to the dual of linearly constrained convex programs, this leads to the construction of an accelerated BALM, that achieves the improved rates for both primal and dual convergences.

研究の動機と目的

• 線形制約付き凸問題に対する Bregman 増大ラグランジュ法 (BALM) の収束速度を分析すること。
• 収束速度を O(1/∑ηₖ) から O(1/(∑√ηₖ)²) に改善する、新たな加速 Bregman 前方点プロキシマル点法を開発すること。
• 原状および双対目的関数の両方の収束速度を向上させる、加速 BALM を構築すること。
• 既存の加速 ALM 変種における双対収束速度と原状収束速度の不一致を明確にすること。
• Güler の第2の加速スキームが、O(1/T) よりも原状収束速度を向上させないことを示す反例を提示すること。

提案手法

• 収束速度 O(1/(∑√ηₖ)²) を達成する、新たな加速 Bregman 前方点プロキシマル点法を構築し、標準的な O(1/∑ηₖ) 速度を改善した。
• 線形制約付き凸計画問題のラグランジュ双対問題に、加速プロキシマル点法を適用した。
• 原状収束性能を比較するためのベンチマークとして、Nesterov の加速双対平均法を用いた。
• 加速 ALM の3つの変種を導出し、分析した：Güler の第1および第2のスキーム、および Nesterov の双対平均法。
• 単純な線形計画問題を用いた反例を提示し、Güler の第2のスキームが、双対収束が O(1/T²) であっても、原状収束速度が O(1/T) に留まることを示した。
• Nesterov の双対平均法と Guler の第1の加速プロキシマル点法との間の同等性を、双対問題の加速文脈で正式に証明した。

実験結果

リサーチクエスチョン

• RQ1 BALM の収束速度を、原状および双対目的関数の両方において、標準的な O(1/T) 速度を超えて改善できるか？
• RQ2 加速 Bregman 前方点プロキシマル点法における、プロキシマルパラメータ列 {ηₖ} と収束速度の関係は何か？
• RQ3 既存の加速 ALM 変種では、双対収束が加速されていても、なぜ原状収束速度が O(1/T²) に達しないのか？
• RQ4 線形制約付き凸問題において、原状および双対目的関数の両方が同時に O(1/T²) 収束を達成する方法は存在するか？
• RQ5 加速スキームの選択（例：Güler の第1および第2、Nesterov の双対平均法）が、原状収束速度に与える影響は何か？

主な発見

• 加速 Bregman 前方点プロキシマル点法は、O(1/(∑√ηₖ)²) の収束速度を達成し、標準的な O(1/∑ηₖ) 速度を改善した。
• 線形計画問題では、双対目的関数は O(1/T²) で収束するが、原状目的関数および制約違反は、双対加速があっても O(1/T) に留まる。
• Güler の第2の加速スキームが双対問題に適用されても、原状収束速度は O(1/T) に留まり、反例によってその事実が示された。
• Nesterov の加速双対平均法は、線形等式制約付き問題において、O(1/T²) の原状収束速度を達成し、双対速度と一致した。
• 付録で、Nesterov の双対平均法と Guler の第1の加速プロキシマル点法との間の同等性が正式に証明された。
• 本稿では、双対問題の加速が原状問題の加速を必然的に意味するわけではないことが確立され、収束行動における重要な差異が浮き彫りにされた。