[論文レビュー] On the Convergence of Alternating Direction Lagrangian Methods for Nonconvex Structured Optimization Problems

Sindri Magnússon, Pradeep Chathuranga Weeraddana+2 more|arXiv (Cornell University)|Sep 29, 2014

Indoor and Outdoor Localization Technologies参考文献 12被引用数 7

ひとこと要約

本稿は、非凸構造的問題における2つの分散最適化手法—交替方向ペナルティ法（ADPM）とADMM—の収束を分析する。両手法が漸近的に一次必要最適性条件を満たす十分条件を確立し、ADMMが低次元非凸問題のクラスにおいて収束することを示し、無線センサネットワークの局所化事例によって検証されている。

ABSTRACT

Nonconvex and structured optimization problems arise in many engineering applications that demand scalable and distributed solution methods. The study of the convergence properties of these methods is in general difficult due to the nonconvexity of the problem. In this paper, two distributed solution methods that combine the fast convergence properties of augmented Lagrangian-based methods with the separability properties of alternating optimization are investigated. The first method is adapted from the classic quadratic penalty function method and is called the Alternating Direction Penalty Method (ADPM). Unlike the original quadratic penalty function method, in which single-step optimizations are adopted, ADPM uses an alternating optimization, which in turn makes it scalable. The second method is the well-known Alternating Direction Method of Multipliers (ADMM). It is shown that ADPM for nonconvex problems asymptotically converges to a primal feasible point under mild conditions and an additional condition ensuring that it asymptotically reaches the standard first order necessary conditions for local optimality are introduced. In the case of the ADMM, novel sufficient conditions under which the algorithm asymptotically reaches the standard first order necessary conditions are established. Based on this, complete convergence of ADMM for a class of low dimensional problems are characterized. Finally, the results are illustrated by applying ADPM and ADMM to a nonconvex localization problem in wireless sensor networks.

研究の動機と目的

• ADMM やペナルティ法に基づく手法が非凸最適化で実証的に成功しているにもかかわらず、理論的収束保証が不足しているという問題に対処する。
• ADPM や ADMM のようなスケーラブルで分散型のアルゴリズムが、非凸設定において意味のある解に収束できるかどうかを調査する。
• ADPM および ADMM が漸近的に局所最適性の一次必要条件を満たすことを保証する理論的条件を提供する。
• 無線センサネットワークにおける非凸協調局所化問題を通じて、これらの手法の実用的適用性を示す。
• ADMM が収束する一次最適性を保証する低次元非凸問題のクラスを同定する。

提案手法

• 二次ペナルティ法の分散版として ADPM を提案し、単一ステップ更新の代わりに交互最小化を用いることでスケーラビリティを向上させる。
• 増加ラグランジュの部分問題を分割することで問題構造を活用し、ADMM を分散実装可能にする。
• 収束特性を改善するための双対変数更新則（式61）を導入し、特に非凸領域での性能を向上させる。
• 緩和された仮定の下で反復点の有界性を確立することで理論的収束を示す。これには勾配が無限大であってもよいが、双対変数は有界であると仮定する。
• ネットワーク上での分散計算を可能にするために、最適化問題をコンSENSUSに基づく再定式化する。
• 距離測定を対数距離パスロスモデルでモデリングすることで、無線センサネットワークにおける非凸局所化問題に手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 ADPM は非凸問題において、どのような条件下で漸近的にプライム妥当性を達成し、一次必要最適性条件を満たすか？
• RQ2 ADMM が非凸設定において、局所最適性の一次必要条件を漸近的に満たすための十分条件は何か？
• RQ3 ADMM は、特定の低次元非凸問題のクラスにおいて、一次最適解に収束できるか？
• RQ4 式61に示される双対変数更新を含めると、更新なしの場合と比較して収束性能にどのような影響があるか？
• RQ5 ADPM および ADMM は、無線センサネットワークの局所化のような実用的非凸応用において、どれほど優れた解に到達できるか？

主な発見

• ADPM は緩和された仮定の下で漸近的にプライム妥当性を達成し、追加の条件が満たされれば一次必要最適性条件を満たす点に収束する。
• ADMM は、非凸設定において局所最適性の一次必要条件を満たすための新しい十分条件を示し、低次元非凸問題のクラスではそれが成立する。
• 数値結果から、双対変数更新を含む ADMM（例：ADMM-1 および ADMM-10）は、DGD や双対更新なしの ADPM よりも、コンセンサスおよび勾配ノルムの減少が速いことが示された。
• 非凸性および複数の局所最小値が存在するにもかかわらず、すべてのアルゴリズムがセンサネットワーク局所化問題において真のノード位置に近い妥当な解に収束した。
• DGD が一部のケースで視覚的により良い位置推定を生成するにもかかわらず、ADMM-1 および ADMM-10 は DGD や ADPM よりも顕著に優れた目的関数値を達成した。
• ADMM の双対変数は時間経過とともに収束しており、これは Proposition 3 が双対収束とアルゴリズム収束の関係を示しているという理論的主張を裏付けている。