[論文レビュー] Iteration-complexity of a Jacobi-type non-Euclidean ADMM for multi-block linearly constrained nonconvex programs

Jefferson G. Melo, Renato D. C. Monteiro|arXiv (Cornell University)|May 20, 2017

Sparse and Compressive Sensing Techniques参考文献 36被引用数 8

ひとこと要約

本稿は、多ブロック線形制約付き非凸問題を解くためのジャコビ型非ユークリッドADMMの反復複雑度を確立する。この手法は、並列な部分問題の解法を可能にし、緩和パラメータ θ ∈ (0,2) を許容する。一般化された停留性条件における ρ-最適性を達成するための O(ρ⁻²) の反復複雑度バウンドを証明する。

ABSTRACT

This paper establishes the iteration-complexity of a Jacobi-type non-Euclidean proximal alternating direction method of multipliers (ADMM) for solving multi-block linearly constrained nonconvex programs. The subproblems of this ADMM variant can be solved in parallel and hence the method has great potential to solve large scale multi-block linearly constrained nonconvex programs. Moreover, our analysis allows the Lagrange multiplier to be updated with a relaxation parameter in the interval (0, 2).

研究の動機と目的

• 非凸で多ブロックなADMMの変種について、反復複雑度の分析が不足しているという点に応える。
• 部分問題を独立して解けるジャコビ型非ユークリッドADMMを構築し、大規模問題におけるスケーラビリティを向上させる。
• 緩和パラメータ θ ∈ (0,2) を用いた収束保証を確立し、標準的な θ = 1 や θ ≤ (√5+1)/2 の範囲を超えて拡張する。
• 非凸問題における一般化された停留性条件において、ρ-最適性に到達するための O(ρ⁻²) の反復複雑度バウンドを提供する。
• Bregman距離とポテンシャル関数の降下を活用することで、非凸ADMMの収束解析と反復複雑度のギャップを埋める。

提案手法

• 各ブロックの部分問題をBregman距離 (dw_i) を用いて正則化した増大ラグランジュに基づくジャコビ型非ユークリッドADMMを提案する。
• 双対変数の更新に緩和パラメータ θ ∈ (0,2) を用いる。λ^k = λ^{k-1} - θβ(∑A_i x_i^k - b) により、収束速度の向上と安定性の向上を実現する。
• 非滑らかで二次的でない目的関数の成分を扱うために、距離生成関数に基づく非ユークリッド近似項 (dw_i) を用いる。
• 増大ラグランジュと近似項を組み合わせたポテンシャル関数を用いて解析を行い、やや弱い仮定のもとで降下を示す。
• ポテンシャル関数が十分に速く減少することを証明し、O(ρ⁻²) の反復複雑度バウンドに至る。
• Kurdyka-Łojasiewicz性質と ∇f_p のリプシッツ連続性を活用して、部分勾配と双対不実行性を制御する。

実験結果

リサーチクエスチョン

• RQ1 多ブロック線形制約付き非凸最適化問題を解くためのジャコビ型非ユークリッドADMMの反復複雑度は何か？
• RQ2 収束性と複雑度の保証を維持したまま、緩和パラメータ θ を 1 を超えて (0,2) の範囲に拡張できるか？
• RQ3 非ユークリッドBregman距離の使用は、非凸問題におけるADMMの収束性と複雑度にどのように影響するか？
• RQ4 どのような仮定のもとで、本手法は ρ-最適性に到達するための O(ρ⁻²) の反復複雑度バウンドを達成するか？
• RQ5 非凸設定において、収束性や複雑度バウンドを損なわずに、部分問題を並列に解くことは可能か？

主な発見

• 一般化された停留性条件を満たす点を、許容誤差 ρ 以内で見つけるための O(ρ⁻²) の反復複雑度バウンドを達成する。
• 緩和パラメータ θ は (0,2) の全区間で選べ、従来の θ ≤ (√5+1)/2 に制限されていたものよりも柔軟性が向上し、収束速度も向上する。
• ジャコビ型構造のおかげで、部分問題が並列に解かれるため、大規模な多ブロック問題において非常にスケーラブルである。
• A_p がフル行ランクであり、f_p が微分可能で勾配がリプシッツ連続であるという仮定のもとで、十分な正則性が保証される。
• 解析に用いられるポテンシャル関数は十分に速く減少し、O(ρ⁻²) の複雑度バウンドの導出を可能にする。
• 非ユークリッド近似項と非凸設定における広い範囲の緩和パラメータを許容することで、先行研究を一般化する。