[論文レビュー] Online Optimization with Feedback

Andrey Bernstein, Emiliano Dall’Anese+1 more|arXiv (Cornell University)|Apr 14, 2018

Distributed Control Multi-Agent Systems被引用数 6

ひとこと要約

本稿では、時間変動する凸最適化問題を動的システムで解くために、プライマル・デュアル射影勾配法を用いたオンラインフィードバックベース最適化アルゴリズムを提案する。リアルタイムのフィードバックと正則化されたラグランジュ関数を組み込むことで、モデル誤差が存在しても、外部入力の測定が不要な状況においても、最適軌道へのQ線形収束を達成する。

ABSTRACT

This paper addresses the design and analysis of feedback-based algorithms to control systems or networked systems based on performance objectives and engineering constraints that may evolve over time. The emerging time-varying convex optimization formalism is leveraged to model optimal operational trajectories of the systems, as well as explicit local and network-level operational constraints. Departing from existing batch and feed-forward optimization approaches, the design of the algorithms capitalizes on an implementation of primal-dual projected-gradient methods; the gradient steps are, however, suitably modified to accommodate actionable feedback from the system - hence, the term online optimization with feedback. By virtue of this approach, the resultant algorithms can cope with model mismatches in the algebraic representation of the system states and outputs, it avoids pervasive measurements of exogenous inputs, and it naturally lends itself to a distributed implementation. Under suitable assumptions, analytical convergence claims are established in terms of dynamic regret. Moreover, when the synthesis of the feedback-based algorithm is based on a regularized Lagrangian function, Q-linear convergence to solutions of the time-varying optimization problem is shown.

研究の動機と目的

• 時間変動する目的関数と制約を有する動的システムの制御という課題に取り組む。
• バッチ最適化やフィードフォワード最適化の限界を克服し、適応的でリアルタイムな意思決定を可能にする。
• システム状態および出力表現におけるモデル誤差に対してロバストなアルゴリズムを設計する。
• 外部入力の完全な知識が不要なネットワーク化システムにおける分散実装を支援する。
• 時間変動条件の下で、動的リグレットと正則化されたラグランジュ関数を用いて理論的収束保証を確立する。

提案手法

• 時間変動する凸最適化問題を解くために、プライマル・デュアル射影勾配反復を採用する。
• 勾配ステップを、システムからの実行可能フィードバックを組み込む形に変更し、オンライン適応を可能にする。
• 最適化プロセスの安定化と収束性の向上のため、正則化されたラグランジュ関数を用いる。
• 外部入力の測定に依存しないように、システムのフィードバックに焦点を当てる。
• 状態および出力表現におけるモデル誤差は、フィードバック駆動の更新により対応する。
• 局所的制約を持つネットワーク化システムにおける分散実装を自然にサポートする。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてフィードバックを効果的にオンライン最適化に統合し、時間変動するシステムの目的関数と制約を扱えるか？
• RQ2 動的で時間変動する環境下において、フィードバックベースのアルゴリズムにどのような収束保証を設定できるか？
• RQ3 ラグランジュ関数の正則化がオンライン最適化における収束行動をどのように改善するか？
• RQ4 提案手法は、システム状態および出力表現におけるモデル不正確さをどのように処理するか？
• RQ5 外部入力の測定が不要な状況で、アルゴリズムを分散的に実装できるか？

主な発見

• 正則化されたラグランジュ関数を用いることで、提案されたフィードバックベースのアルゴリズムは、時間変動する最適化問題の解へのQ線形収束を達成する。
• 動的リグレットを用いた収束保証が確立され、時間変動環境下での性能に理論的保証が与えられる。
• システム状態および出力の代数的表現におけるモデル誤差に対しても、ロバストである。
• 外部入力の広範な測定が不要となり、代わりに実行可能フィードバックに依存する。
• 局所的およびグローバルな制約を持つネットワーク化システムに適した分散実装をサポートする。
• 理論的分析により、フィードバック機構が変化するシステム条件下でも安定的かつ適応的最適化を可能にすることが確認された。