[論文レビュー] First-order methods for constrained convex programming based on linearized augmented Lagrangian function

Yangyang Xu|arXiv (Cornell University)|Nov 21, 2017

Sparse and Compressive Sensing Techniques参考文献 15被引用数 18

ひとこと要約

本稿では、線形化された増大ラグランジアン関数を用いて、アフィン等式制約および滑らかな非線形不等式制約を有する制約付き凸最適化問題を解くための2つの一次元法を提案する。これらの手法は、グローバルなサブ線形収束と局所的な線形収束を達成し、一方の手法は1回のプロキシマル勾配ステップを用い、他方はブロック座標更新を採用しており、数値実験において既存の手法を上回る性能を示した。

ABSTRACT

First-order methods have been popularly used for solving large-scale problems. However, many existing works only consider unconstrained problems or those with simple constraint. In this paper, we develop two first-order methods for constrained convex programs, for which the constraint set is represented by affine equations and smooth nonlinear inequalities. Both methods are based on the classic augmented Lagrangian function. They update the multipliers in the same way as the augmented Lagrangian method (ALM) but employ different primal variable updates. The first method, at each iteration, performs a single proximal gradient step to the primal variable, and the second method is a block update version of the first one. For the first method, we establish its global iterate convergence as well as global sublinear and local linear convergence, and for the second method, we show a global sublinear convergence result in expectation. Numerical experiments are carried out on the basis pursuit denoising and a convex quadratically constrained quadratic program to show the empirical performance of the proposed methods. Their numerical behaviors closely match the established theoretical results.

研究の動機と目的

• アフィン等式制約および滑らかな非線形不等式制約を有する制約付き凸計画問題に対して、効率的な一次元法を開発すること。
• 一次元法の適用範囲を単純またはアフィン制約にとどまらず、一般の非線形制約問題へと拡張すること。
• やや弱い仮定のもとで、提案手法のグローバル収束および反復回数の複雑さの保証を確立すること。
• 問題の構造を活用するためのブロック更新バリアントを設計し、実験的性能を向上させること。
• 基底追跡ノイズ除去問題および二次的制約付き二次計画問題における理論的結果の妥当性を数値実験で検証すること。

提案手法

• 本手法は、元の問題を近似可能にするために線形化された増大ラグランジアン関数を用いる。
• 各反復において、プライマル変数は線形化された増大ラグランジアンを最小化するための1回のプロキシマル勾配ステップにより更新される。
• 双対変数（乗数）は、古典的なALMと同様に、増大ラグランジアンにおける勾配上昇ステップにより更新される。
• 座標に配慮した構造を有する問題に対しては、変数をブロックごとに更新するブロック座標更新のバリエーションを提案する。
• ペナルティパラメータβは固定され、双対ステップサイズはβに比例するように設定され、安定性と収束性を確保する。
• アルゴリズムは滑らかな関数の勾配情報と非滑らかな項のプロキシマル写像にのみ依存しており、1反復あたりの計算コストが低くなる。

実験結果

リサーチクエスチョン

• RQ1 一次元法は、アフィン制約や単純な制約を超えて、一般の非線形制約付き凸計画問題へと効果的に拡張可能か？
• RQ2 プライマル部分問題を近似的に解く一次元法に基づく線形化増大ラグランジアンに対して、どのような収束保証を確立できるか？
• RQ3 線形化増大ラグランジアン法フレームワーク内でのブロック座標更新戦略は、実際の収束行動を改善するか？
• RQ4 標準的な仮定のもとで、このような手法のグローバルなサブ線形収束および局所的な線形収束を理論的に証明可能か？
• RQ5 提案手法は、実世界の問題に対して、既存の一次元プライマル・デュアル法および不正確な増大ラグランジアン法と比較して、どのように数値的に優れているか？

主な発見

• 1回のプロキシマルステップを用いる提案手法は、グローバルな反復収束およびグローバルなサブ線形収束（収束速度O(1/k)）を達成し、理論的予測と一致する。
• 反復列が最適解の近傍に到達すると、1回のプロキシマルステップ手法に対して局所的線形収束が確立される。
• ブロック更新バリエーションは期待値におけるグローバルなサブ線形収束を達成し、実際には非エルゴディック収束がより速いことが観察された。
• 基底追跡ノイズ除去問題およびQCQPにおける数値結果から、両手法がPD-YNプライマル・デュアル法を上回り、最適解に近づくと線形収束を示すことがわかった。
• エルゴディック反復収束速度は正確にO(1/k)であり、理論的サブ線形速度が裏付けられた。
• BLALMバリエーションは、ブロック更新による局所収束速度の向上のおかげで、LALMよりも優れた性能を示し、特に非エルゴディック収束において顕著であった。