[論文レビュー] Gradient Primal-Dual Algorithm Converges to Second-Order Stationary Solutions for Nonconvex Distributed Optimization

Mingyi Hong, Jason D. Lee+1 more|arXiv (Cornell University)|Feb 25, 2018

Distributed Control Multi-Agent Systems参考文献 37被引用数 21

ひとこと要約

本稿では、線形制約付き非凸分散最適化のための勾配プライマルデュアル法（GPDA）と勾配ADMM（GADMM）を提案する。ランダム初期化のもとで、両アルゴリズムが確率1で2次静止解に収束することを証明しており、非凸問題におけるプライマルデュアル設定で1次情報のみを用いて2次静止解へのグローバル収束を達成する最初の結果である。

ABSTRACT

In this work, we study two first-order primal-dual based algorithms, the Gradient Primal-Dual Algorithm (GPDA) and the Gradient Alternating Direction Method of Multipliers (GADMM), for solving a class of linearly constrained non-convex optimization problems. We show that with random initialization of the primal and dual variables, both algorithms are able to compute second-order stationary solutions (ss2) with probability one. This is the first result showing that primal-dual algorithm is capable of finding ss2 when only using first-order information, it also extends the existing results for first-order, but primal-only algorithms. An important implication of our result is that it also gives rise to the first global convergence result to the ss2, for two classes of unconstrained distributed non-convex learning problems over multi-agent networks.

研究の動機と目的

• 線形制約付き非凸分散最適化問題における2次静止解の探索という課題に取り組む。
• 厳密な鞍点に収束してしまう1次プライマルのみの手法の限界を克服する。
• 非凸設定において、1次情報のみを用いてプライマルデュアルアルゴリズムのグローバル収束を確立する。
• 非凸分散学習問題をマルチエージェントネットワーク上で非制約化した場合にも理論的収束結果を拡張する。
• 非凸最適化における1次プライマルデュアル手法が2次静止点にグローバル収束する理論的基盤を提供する。

提案手法

• 線形制約付き非凸最適化問題を解くための勾配プライマルデュアル法（GPDA）と勾配ADMM（GADMM）を提案する。
• プライマル変数およびデュアル変数の両方に1次勾配情報を用い、増大ラグランジュフレームワークに基づく反復的更新を行う。
• プライマルおよびデュアル変数のランダム初期化戦略を導入し、2次静止点への確実収束を保証する。
• 目的関数のヘッセ行列のリプシッツ連続性と滑らかさの仮定を用いて、緩い正則性条件下での収束を確立する。
• 行列の摂動理論と固有値解析を活用し、制約行列の核部分空間において増大ラグランジュのヘッセ行列が正半定値のままであることを証明する。
• リャプノフ型解析を用いて、アルゴリズムが確実に厳密な鞍点を回避し、2次静止点に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 1次情報のみを用いたプライマルデュアルアルゴリズムは、非凸分散最適化において2次静止解に収束するか？
• RQ2 プライマルおよびデュアル変数のランダム初期化は、非凸問題において2次静止点への確実収束を保証するか？
• RQ3 1次プライマルのみの手法が失敗する状況において、1次プライマルデュアル手法が2次静止解にグローバル収束するか？
• RQ4 GPDAおよびGADMMの理論的収束挙動は、線形制約付き非凸分散設定においてどのようになるか？
• RQ5 提案されたアルゴリズムは、マルチエージェントネットワーク上での非凸非制約分散学習問題において、2次静止点へのグローバル収束を達成できるか？

主な発見

• ランダム初期化のもとで、GPDAおよびGADMMは確率1で2次静止解に収束する。非凸設定下でも同様である。
• 本稿は、非凸最適化における1次プライマルデュアルアルゴリズムが2次静止点にグローバル収束するという、最初の結果を確立した。
• 数値実験の結果、GPDAは厳密な鞍点をうまく回避し、特にペナルティパラメータβが十分に大きい場合、より低い目的関数値に収束することが示された。
• 目的関数 $ f(x) = x^T Q x + rac{1}{4} orm{x}^4_4 $ が $ 5 au $-滑らかで、$ 6 ilde{ au} $-ヘッセリプシッツであることが証明された。ここで $ au o ext{max eigenvalue of } Q $ である。
• βが小さすぎる場合、GPDAは発散することが確認され、収束にはβが十分に大きくなければならないという理論的要件が裏付けられた。
• 2次元テストケースでは、GPDAは原点付近の厳密な鞍点を避けて、局所最小値に近い制約直線上の点に収束した。