[論文レビュー] Running Primal-Dual Gradient Method for Time-Varying Nonconvex Problems

Yujie Tang, Emiliano Dall’Anese+2 more|arXiv (Cornell University)|Dec 3, 2018

Sparse and Compressive Sensing Techniques被引用数 8

ひとこと要約

本稿では、時間変動する非凸最適化問題におけるカーラシュ＝クーン＝タッカー（KKT）軌道を追跡するための正則化された原双対勾配法を提案する。強いたるく凹関数の正則化項を組み込み、離散的および連続的時間の両方の定式化を分析することで、Q線形収束を達成し、追跡誤差の漸近的バインドを導出し、それがKKT軌道の時間変動性に比例することを示した。

ABSTRACT

This paper considers a nonconvex optimization problem that evolves over time, and addresses the synthesis and analysis of regularized primal-dual gradient methods to track a Karush-Kuhn-Tucker (KKT) trajectory. The proposed regularized primal-dual gradient methods are implemented in a running fashion, in the sense that the underlying optimization problem changes during the iterations of the algorithms. For a problem with twice continuously differentiable cost and constraints, and under a generalization of the Mangasarian-Fromovitz constraint qualification, sufficient conditions are derived for the running algorithm to track a KKT trajectory. Further, asymptotic bounds for the tracking error (as a function of the time-variability of a KKT trajectory) are obtained. A continuous-time version of the algorithm, framed as a system of differential inclusions, is also considered and analytical convergence results are derived. For the continuous-time setting, a set of sufficient conditions for the KKT trajectories not to bifurcate or merge is proposed. Illustrative numerical results inspired by a real-world application are provided.

研究の動機と目的

• 時間の経過に伴い目的関数および制約条件が変化する時間変動型非凸最適化問題において、最適解を追跡する課題に対処すること。
• バッチソルバーの限界を克服し、変化する問題インスタンスに段階的に適応するリアルタイムで実行可能な反復的アルゴリズムを可能にすること。
• 時間変動する条件下でも追跡精度および収束速度に関する理論的保証を確立すること。
• 正則化および制約準拠条件を導入することで、既存の凸設定からの結果を非凸設定に一般化すること。
• 離散的および連続的時間の両方の定式化を分析し、連続的ダイナミクスのための微分包含モデルを含む。

提案手法

• 強い凹関数項を双対変数更新に追加することで、Q線形収束を保証する正則化された原双対勾配法を定式化する。
• 時間変動する最適化問題を離散的間隔 $\tau = 1, \dots, T$ でサンプリングし、時間依存のコストおよび制約を有する非凸部分問題の系列を生成する。
• 不等式制約を凸成分と非凸成分に分解する：$f(x,t) = f^c(x,t) + f^{nc}(x,t)$、ここで $f^c$ は凸、$f^{nc}$ は非凸である。
• アルゴリズムのダイナミクスを表現するための連続的時間の微分包含モデルを導入し、軌道の分岐や合流の分析を可能にする。
• KKT軌道の存在性および正則性を保証する一般化されたマングァリアン＝フロモヴィッツ制約準拠条件を用いる。
• KKT軌道が分岐や合流を起こさないことを保証する十分条件を導出し、安定した追跡行動を確保する。

実験結果

リサーチクエスチョン

• RQ1 時間変動する非凸最適化問題のKKT軌道を、有界な誤差で追跡できるリアルタイムの原双対勾配法は存在するか？
• RQ2 時間変動ダイナミクス下でKKT軌道が良好に保たれる（すなわち、分岐や合流を起こさない）ための条件は何か？
• RQ3 追跡誤差は、KKT軌道の時間変動性およびアルゴリズムパラメータにどのように依存するか？
• RQ4 強い凹関数正則化は、非凸問題においてQ線形収束を達成するために果たす役割は何か？
• RQ5 連続的時間の微分包含定式化が、真のKKT軌道に収束するための条件は何か？

主な発見

• 提案された正則化された原双対勾配法は、非凸制約が存在する中でもKKT軌道の近傍でQ線形収束を達成する。
• 追跡誤差の漸近的バインドが導出され、それがKKT軌道の時間変動性に比例することが示され、問題のダイナミクスとアルゴリズムの精度のトレードオフを定量化した。
• 連続的時間設定では、KKT軌道が分岐や合流を起こさない十分条件が確立され、解パスの一意性および安定性が保証された。
• ステップサイズパラメータ $\epsilon^*$ が $\epsilon^* = \Lambda_m(\delta)/\eta^*$ として選ばれるとき、追跡誤差バインドが最小化される。ここで $\eta^*$ は正則化パラメータである。
• 追跡誤差を支配する関数 $b_{\delta,\beta}(\epsilon)$ が単峰性であることが証明され、最小誤差を達成するための $\epsilon$ の一意な最適選択が存在することが示された。
• 最適パラメータ $\eta^*$ が $\eta^* = 1/x^{*2}$ を満たすことが示され、ここで $x^*$ は導出された関数 $\tilde{g}_0(x)$ の唯一の最小化点である。この関係により、正則化強度が問題のダイナミクスに直接関連づけられた。