[論文レビュー] A Proximal Alternating Direction Method of Multiplier for Linearly Constrained Nonconvex Minimization

Jiawei Zhang, Zhi‐Quan Luo|arXiv (Cornell University)|Dec 26, 2018

Sparse and Compressive Sensing Techniques参考文献 24被引用数 7

ひとこと要約

本稿では、線形制約付き非凸最小化問題に対して、滑らか化されたプライマル反復列と、増分ラグランジュ関数における二次的プロキシマル項を導入することで、振動を安定化するための近接交替方向乗数法（ADMM）を提案する。グローバル収束性が保証され、ε-停留点への収束の反復複雑度が 𝒪(1/ε²) に向上し、従来の最良の 𝒪(1/ε³) よりも優れている。また、新しい汎関数と誤差バウンド解析を用いて、二次的目的関数に対して線形収束を証明する。

ABSTRACT

Consider the minimization of a nonconvex differentiable function over a polyhedron. A popular primal-dual first-order method for this problem is to perform a gradient projection iteration for the augmented Lagrangian function and then update the dual multiplier vector using the constraint residual. However, numerical examples show that this approach can exhibit "oscillation" and may not converge. In this paper, we propose a proximal alternating direction method of multipliers for the multi-block version of this problem. A distinctive feature of this method is the introduction of a "smoothed" (i.e., exponentially weighted) sequence of primal iterates, and the inclusion, at each iteration, to the augmented Lagrangian function a quadratic proximal term centered at the current smoothed primal iterate. The resulting proximal augmented Lagrangian function is inexactly minimized (via a gradient projection step) at each iteration while the dual multiplier vector is updated using the residual of the linear constraints. When the primal and dual stepsizes are chosen sufficiently small, we show that suitable "smoothing" can stabilize the "oscillation", and the iterates of the new proximal ADMM algorithm converge to a stationary point under some mild regularity conditions. Furthermore, when the objective function is quadratic, we establish the linear convergence of the algorithm. Our proof is based on a new potential function and a novel use of error bounds.

研究の動機と目的

• 標準ADMMが非凸的かつ線形制約付き問題に対して不安定で収束しないという問題に対処すること。
• プライマル・デュアル勾配法で一般的に見られる振動的挙動を、滑らか化されたプライマル反復列によって安定化すること。
• ε-停留点解法のための反復複雑度を改善した一階法を開発すること。
• やや弱い正則性条件のもとで、グローバルに停留点に収束することを確立すること。
• 目的関数が二次的である場合に、新しい汎関数と誤差バウンド技術を用いて線形収束を証明すること。

提案手法

• アルゴリズムの安定化のため、指数的重み付けされた滑らか化プライマル反復列を導入する。
• 各反復において、現在の滑らか化反復を中心とした二次的プロキシマル項を増分ラグランジュ関数に追加する。
• 勾配射影ステップを用いて、プロキシマル増分ラグランジュ関数の不正確な最小化を実行する。
• 線形制約の残差を用いて、デュアル乗数を更新する。
• 収束性の証明に、新しい汎関数と誤差バウンド解析を用いる。
• 安定性と収束性を保証するため、十分に小さいプライマルおよびデュアルステップサイズを適切に選択する戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 非凸的かつ線形制約付き最適化問題において、近接ADMMの変種が振動的挙動を安定化できるか？
• RQ2 非凸問題においてε-停留点解法を求める近接ADMMの反復複雑度は何か？
• RQ3 提案手法はやや弱い正則性条件のもとでグローバルに停留点に収束するか？
• RQ4 目的関数が二次的である場合に線形収束を確立できるか？
• RQ5 実際の応用において、標準ADMMと比較して収束速度と効率性に優れているか？

主な発見

• プライマルおよびデュアルステップサイズが十分に小さい場合、やや弱い正則性条件のもとで、提案された近接ADMMはグローバルに停留点に収束する。
• ε-停留点解法の反復複雑度は 𝒪(1/ε²) であり、このクラスの問題に対しては従来の最良の複雑度 𝒪(1/ε³) よりも向上している。
• 二次的目的関数に対しては、アルゴリズムが線形収束を示す。これは強力なグローバル収束保証である。
• 数値実験では、提案手法が元の二重ループADMMよりもはるかに効率的であり、勾配評価回数が著しく少ないことが示された。
• 収束解析は、新しい汎関数と洗練された誤差バウンド技術に依拠しており、より強い理論的保証を可能にした。
• 滑らか化プライマル反復とプロキシマル正則化を組み合わせることで、標準ADMMで観察される振動的挙動が安定化された。