[論文レビュー] Time-Varying Convex Optimization: A Contraction and Equilibrium Tracking Approach

Alexander A. Davydov, Veronica Centorrino+3 more|arXiv (Cornell University)|May 24, 2023

Advanced Optimization Algorithms Research被引用数 7

ひとこと要約

本稿は、連続時間の時変凸最適化のための収縮理論的枠組みを導入し、解軌道と時変最適軌道との間の追跡誤差が、収縮率、パラメータのリプシッツ定数、およびパラメータの変化率によって一様に有界であることを証明する。また、単調包含、等式制約付き最適化、および複合最小化の3つの代表的問題について、鋭い収縮率と明示的な誤差境界を確立する。

ABSTRACT

In this article, we provide a novel and broadly-applicable contraction-theoretic approach to continuous-time time-varying convex optimization. For any parameter-dependent contracting dynamics, we show that the tracking error is asymptotically proportional to the rate of change of the parameter and that the proportionality constant is upper bounded by Lipschitz constant in which the parameter appears divided by the contraction rate of the dynamics squared. We additionally establish that augmenting any parameter-dependent contracting dynamics with a feedforward prediction term ensures that the tracking error vanishes exponentially quickly. To apply these results to time-varying convex optimization, we establish the strong infinitesimal contractivity of dynamics solving three canonical problems: monotone inclusions, linear equality-constrained problems, and composite minimization problems. For each case, we derive the sharpest-known contraction rates and provide explicit bounds on the tracking error between solution trajectories and minimizing trajectories. We validate our theoretical results on two numerical examples and on an application to control barrier function-based controller design that involves real hardware.

研究の動機と目的

• 連続時間動的システムを用いて、時間変動する凸最適化問題における最適解の追跡という課題に取り組む。
• 均衡軌道の微分を事前に知らなくても、解軌道と時間変動する均衡軌道との間の追跡誤差を有界化する一般枠組みを構築する。
• 単調包含、線形等式制約付き問題、および複合最小化の3つの代表的凸最適化問題を解く動的システムに対して、強い無限小収縮性を確立する。
• 収縮率、パラメータのリプシッツ定数、およびパラメータの変化率といった測定可能なシステムパラメータにのみ依存する、明示的かつ鋭い収縮率と誤差境界を提供する。
• 収縮システムの固有の性質を活用して、ノイズおよび時間遅れに対してロバストであることを保証する。

提案手法

• パラメータ依存収縮システムにおける追跡誤差の上界を、収縮率、パラメータのリプシッツ定数、およびパラメータ変化率を用いて与える一般定理（定理3.3）を提唱する。
• 一般定理を、前進後退分割およびプライマル・ダウアル動的システムを用いて、単調包含、等式制約付き最適化、および複合最小化の3つの代表的凸最適化問題に適用する。
• リャプノフベースの解析と行列不等式技術を用いて、各問題クラスの明示的かつ鋭い収縮率を導出する。
• 直交分解と固有値解析を用いて、動的システムのヤコビアンにおけるヘッセ行列および曲率項を有界化し、強い無限小収縮性を保証する。
• シュール補行列と行列不等式の操作（例：補題10.32）を用いて、収縮性を満たすために必要な行列不等式条件の正定値性を検証する。
• リャプノフ関数の候補を構築し、最適なパラメータ選択のもとでその微分が負定値であることを証明することで、指数的収束性およびロバストネスを保証する。

実験結果

リサーチクエスチョン

• RQ1 均衡軌道の微分を事前に知らなくても、解軌道と時間変動する最適軌道との間の追跡誤差を一般に有界化できるか？
• RQ2 連続時間動的システムが単調包含、等式制約付き問題、および複合最小化問題を解く際の、最も鋭い収縮率は何か？
• RQ3 追跡誤差を、収縮率、パラメータのリプシッツ定数、およびパラメータ変化率といった測定可能なシステムパラメータの関数として明示的に有界化できるか？
• RQ4 提案された枠組みは、時間変動最適化設定においてノイズおよび時間遅れに対してロバストであるか？
• RQ5 各代表的問題クラスに対して、強い無限小収縮性と最小の追跡誤差を保証する最適なパラメータ選択は何か？

主な発見

• 任意の解軌道と時間変動する均衡軌道との間の追跡誤差は、収縮率、パラメータ依存性のリプシッツ定数、およびパラメータの変化率に依存する関数によって一様に上界で抑えられる。
• 単調包含問題において、提案された前進後退分割動的システムは、問題の単調性およびリプシッツパラメータに依存する鋭い収縮率を有する強い無限小収縮性を達成する。
• 線形等式制約付き問題において、プライマル・ダウアル動的システムは強い無限小収縮性を示し、追跡誤差はパラメータの変化率に比例する項と収縮率の逆数に比例する項によって有界化される。
• 複合最小化問題において、収縮率は滑らかさおよび強い凸性パラメータの関数として明示的に導出され、追跡誤差の有界性はパラメータ変動率の平方根に比例する。
• 解析により、提案された動的システムは、強い無限小収縮性の性質のおかげで、摂動および時間遅れに対してロバストであることが確認された。
• 数値的検証により、理論的誤差有界性が2つのテストケースにおいてきわめてタイトであることが示され、導出された推定値の実用的妥当性が裏付けられた。