[論文レビュー] On the Exponential Stability of Projected Primal-Dual Dynamics on a Riemannian Manifold

Prashant Bansode, Venkatesh Chinde+3 more|arXiv (Cornell University)|May 11, 2019

Optimization and Variational Analysis参考文献 32被引用数 6

ひとこと要約

本稿では、線形不等式制約付き凸最適化問題に対する、リーマン多様体に基づく射影型原双対ダイナミクスの再定式化を提案する。適切なリーマン計量を用いることでラグランジュ勾配を強単調にすることで、グローバル指数的安定性を達成する。主な結果は、勾配写像のリプシッツ連続性のもとで、明示的な指数的減衰バウンドを伴うグローバルに指数的安定なサドルポイント収束である。

ABSTRACT

Equivalence of convex optimization, saddle-point problems, and variational inequalities is a well-established concept. The variational inequality (VI) is a static problem which is studied under dynamical settings using a framework called the projected dynamical system, whose stationary points coincide with the static solutions of the associated VI. VI has rich properties concerning the monotonicity of its vector-valued map and the uniqueness of its solution, which can be extended to convex optimization and saddle-point problems. Moreover, these properties also extend to the representative projected dynamical system. The objective of this paper is to harness rich monotonicity properties of the representative projected dynamical system to develop the solution concepts of the convex optimization problem and the associated saddle-point problem. To this end, this paper studies a linear inequality constrained convex optimization problem and models its equivalent saddle-point problem as a VI. Further, the VI is studied as a projected dynamical system\cite{friesz1994day} which is shown to converge to the saddle-point solution. By considering the monotonicity of the gradient of Lagrangian function as a key factor, this paper establishes exponential convergence and stability results concerning the saddle-points. Our results show that the gradient of the Lagrangian function is just monotone on the Euclidean space, leading to only Lyapunov stability of stationary points of the projected dynamical system. To remedy the situation, the underlying projected dynamical system is formulated on a Riemannian manifold whose Riemannian metric is chosen such that the gradient of the Lagrangian function becomes strongly monotone. Using a suitable Lyapunov function, the stationary points of the projected dynamical system are proved to be globally exponentially stable and convergent to the unique saddle-point.

研究の動機と目的

• ユークリッド空間上での標準的射影型原双対ダイナミクスが収束レートを明示的に持たないという限界を解消する。
• 線形不等式制約付き凸最適化におけるサドルポイントダイナミクスのグローバル指数的安定性を達成する。
• ユークリッド空間上でのラグランジュ勾配の強単調性の欠如を、リーマン多様体へのダイナミクスの埋め込みによって克服する。
• リーマン構造に適合したリャプノフ関数を用いて、指数的収束の十分条件を確立する。
• オンラインおよび分散最適化設定における有限時間収束保証を可能にする理論的枠組みを拡張する。

提案手法

• 線形不等式制約付き凸最適化問題のサドルポイント問題を変分不等式として定式化する。
• リーマン計量を特に選択することで、ラグランジュ勾配の強単調性を誘導するリーマン多様体上での射影ダイナミカルシステムとしてダイナミクスをモデル化する。
• 双対変数が非負の直交座標内に制約されるよう、リーマン射影作用素 $ P^r_{\mathcal{M}} $ を定義する。
• リーマンノルム $ \|\cdot\|_r $ に基づくリャプノフ関数を構築し、安定性および収束性を分析する。
• 不等式 $ \|z(t) - z^*\|_r \leq \|z(0) - z^*\|_r e^{-\frac{\alpha\beta(4\nu - \alpha\ell^2)}{8}t} $ を用いて指数的収束バウンドを導出する。これは $ \alpha < \frac{4\nu}{\ell^2} $ のとき有効である。
• Euler離散化によるダイナミクスの検証を通し、$ k $ および $ \nu $ を変化させたシミュレーションで幾何的収束を示す。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド形式がリャプノフ安定性しか与えないのに対し、リーマン多様体上での射影型原双対ダイナミクスはグローバル指数的安定性を達成できるか？
• RQ2 指数的収束を保証するため、リーマン計量をどのように設計すればラグランジュ勾配の強単調性を確保できるか？
• RQ3 ステップサイズ $ \alpha, \beta $ およびシステムパラメータ $ \nu, \ell $ にどのような条件を課すと、誤差のサドルポイントへの指数的減衰が保証されるか？
• RQ4 勾配写像のリプシッツ連続性のもとで、提案フレームワークは指数的収束を維持するか？
• RQ5 Euler離散化による離散時間実装でも、理論的収束レートが観測可能か？

主な発見

• 適切な計量設計によりラグランジュ勾配を強単調化することで、リーマン多様体上での射影型原双対ダイナミクスはグローバル指数的安定性を達成する。
• 指数的収束レートはバウンド $ \|z(t) - z^*\|_r \leq \|z(0) - z^*\|_r e^{-\frac{\alpha\beta(4\nu - \alpha\ell^2)}{8}t} $ で定量的に示され、$ \alpha < \frac{4\nu}{\ell^2} $ のとき有効である。
• パラメータ $ k $ を増加させると $ \nu $ が増加し、指数的減衰係数が向上することで収束が加速することが、シミュレーションで示された。
• シミュレーション結果は、離散時間射影ダイナミクスの幾何的収束を確認し、連続時間における指数的安定性の主張を裏付けた。
• プライマルおよび双対変数は最適解 $ x^* $ および $ \lambda^* $ に収束し、誤差は図5の $ L_2 $ 正則化最小二乗問題において指数的に減少することが示された。
• 漸近的安定性よりも強い収束保証を可能にするため、リアルタイムおよびオンライン最適化応用に適している。