[論文レビュー] Exponential Stability of Primal-Dual Gradient Dynamics with Non-Strong Convexity

Xin Chen, Na Li|arXiv (Cornell University)|May 1, 2019

Advanced Optimization Algorithms Research参考文献 23被引用数 6

ひとこと要約

本稿は、非零の非対角項を有する2つの新しい2次リャプノフ関数を導入することで、強い凸性を示さない目的関数を有する凸最適化問題における原双対勾配動的システム（PDGD）のグローバル指数的安定性を確立する。Aがフルランクの行を有する条件下で、非強い凸性を示す成分gが2次関数であるか、行列Bと関連する不等式条件を満たす場合、指数的安定性が保証され、PDGDの安定性理論が強い凸性の設定を超えて拡張される。

ABSTRACT

This paper studies the exponential stability of primal-dual gradient dynamics (PDGD) for solving convex optimization problems where constraints are in the form of Ax+By= d and the objective is min f(x)+g(y) with strongly convex smooth f but only convex smooth g. We show that when g is a quadratic function or when g and matrix B together satisfy an inequality condition, the PDGD can achieve global exponential stability given that matrix A is of full row rank. These results indicate that the PDGD is locally exponentially stable with respect to any convex smooth g under a regularity condition. To prove the exponential stability, two quadratic Lyapunov functions are designed. Lastly, numerical experiments further complement the theoretical analysis.

研究の動機と目的

• 目的関数がすべての変数において強い凸性を示さない場合に、原双対勾配動的システム（PDGD）のグローバル指数的安定性を確立すること。
• 目的関数の一部に強い凸性が欠如する状況下でも、PDGDが指数的安定性を維持する十分条件を同定すること。
• 特に電力システムやリソース割り当ての応用分野を想定し、強い凸性を前提としないPDGDの理論的安定性保証を拡張すること。
• 緩い凸性仮定の下で指数的安定性を証明するために、非零の非対角項を有する2つの2次リャプノフ関数を設計すること。
• 任意の滑らかな凸関数gに対して、正則性条件の下で局所的指数的安定性を確立し、より広範な問題クラスへの適用可能性を拡大すること。

提案手法

• fが強い凸性を示し、gが単に凸である等式制約付き凸最適化問題に対して、連続時間の原双対勾配動的システム（PDGD）を提案する。
• プライマル変数、双対変数、スラック変数の間の交差項を有する2つの2次リャプノフ関数を設計し、安定性を分析する。
• シュール補行列と行列不等式を用いて、リャプノフ関数内のヘッセ行列に類似した行列の正定値性を証明し、指数的減衰を保証する。
• gとBに対して、\|B\|とgのヘッセ行列が特定の不等式を満たす条件を課し、指数的安定性を可能にする。
• スペクトル解析と行列ランク条件（Aのフルランク）を適用して、均衡点の一意性と安定性を保証する。
• 非強い凸成分を有する最適化問題における数値実験を通じて、理論的結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 目的関数がすべての変数において強い凸性を示さない場合、原双対勾配動的システムがグローバル指数的安定性を達成する条件は何か？
• RQ2 gが2次関数である場合でさえ、強い凸性が欠如している状況下でも指数的安定性は保持可能か？
• RQ3 gとBに対して、どのような行列的および関数的条件がPDGDのグローバル指数的安定性を保証するか？
• RQ4 任意の滑らかな凸関数gに対して、正則性条件の下で局所的指数的安定性は達成可能か？ これは強い凸性が欠如している場合にも成立するか？
• RQ5 非零の非対角項を有する本稿で提案されたリャプノフ関数は、標準的手法に比べてどのようにより強い安定性解析を可能にするか？

主な発見

• gが2次関数である限り、Aがフルランクの行を有する限り、PDGDはグローバル指数的安定性を達成する。
• gとBが特定の行列不等式条件を満たす限り、gが強い凸性を示さない場合でもグローバル指数的安定性が保証される。
• 提案された条件下では、PDGDの均衡点は一意的であり、一意の解への収束を保証する。
• 任意の滑らかな凸関数gに対して、正則性条件の下で局所的指数的安定性が確立され、より広範な問題クラスへの適用が可能になる。
• 提案されたリャプノフ関数は非零の非対角項を有する2次関数であり、標準的手法に比べてより鋭い安定性解析を可能にする。
• 数値実験により、理論的安定性保証が妥当であることが確認され、導出された条件下で線形収束レートが達成されることも示された。