[論文レビュー] Introduction to Online Control

Elad Hazan, Karan P. Singh|arXiv (Cornell University)|Nov 17, 2022

Advanced Bandit Algorithms Research被引用数 8

ひとこと要約

本稿は、敵対的コスト関数および摂動に対して、オンライン凸最適化技術を用いて動的システムを制御するフレームワーク「オンライン非確率的制御」を導入する。勾配摂動コントローラーを提案し、サブラインアクレジットバウンドを確立し、オンライン勾配降下を用いて $ O(\mathrm{GD} \sum{T}) $ のレジットを達成する。従来の最適制御やロバスト制御が失敗する敵対的環境において、有限時間保証を提供する。

ABSTRACT

This text presents an introduction to an emerging paradigm in control of dynamical systems and differentiable reinforcement learning called online nonstochastic control. The new approach applies techniques from online convex optimization and convex relaxations to obtain new methods with provable guarantees for classical settings in optimal and robust control. The primary distinction between online nonstochastic control and other frameworks is the objective. In optimal control, robust control, and other control methodologies that assume stochastic noise, the goal is to perform comparably to an offline optimal strategy. In online nonstochastic control, both the cost functions as well as the perturbations from the assumed dynamical model are chosen by an adversary. Thus the optimal policy is not defined a priori. Rather, the target is to attain low regret against the best policy in hindsight from a benchmark class of policies. This objective suggests the use of the decision making framework of online convex optimization as an algorithmic methodology. The resulting methods are based on iterative mathematical optimization algorithms, and are accompanied by finite-time regret and computational complexity guarantees.

研究の動機と目的

• 敵対的環境下でノイズやコスト関数が攻撃者によって選択される場合に、古典的最適制御やロバスト制御の限界を克服すること。
• 確率的仮定に依存せず、過去の最良のポリシーに対する低レジットを保証する制御フレームワークの開発。
• オンライン凸最適化技術を動的システムに適用し、有限時間におけるレジットと計算複雑度の保証を可能にすること。
• 線形および摂動応答コントローラーを含む、オンライン非確率的制御に適したポリシークラスおよびコントローラー構造の形式化。
• オンライン学習と制御理論の溝を埋めるために、最悪ケース条件下でも性能保証を提供する新しいパラダイムを導入すること。

提案手法

• 敵対的環境下でレジットを最小化するために、凸意思決定集合への射影を伴うオンライン勾配降下を用いる。
• 勾配摂動コントローラーを適用し、現在のコスト関数の勾配に基づいて制御入力を更新する。
• 2段階の更新：勾配降下ステップの後、凸集合 $\mathcal{K}$ 内での妥当性を維持するための射影を実行する。
• レジットを、実際のコストと過去の最良の固定ポリシーのコストとの累積差分として定義する。
• 決定集合の直径 $D$ と勾配ノルム $G$ を用いて、レジット保証を導出する。
• テレスコピング級数とピタゴラスの不等式を用いて、レジットバウンド $ \mathrm{regret}_T \leq \frac{3}{2}GD\sqrt{T} $ を導出する。

実験結果

リサーチクエスチョン

• RQ1 オンライン凸最適化技術は、敵対的コスト関数および摂動下での動的システム制御に効果的に適応可能か？
• RQ2 オンライン非確率的制御における最小のレジットは何か？また、システムのダイナミクスに依存せずにバウンド可能か？
• RQ3 線形、一般化線形、摂動応答などの異なるポリシークラスは、表現力とレジットパフォーマンスにおいてどのように比較されるか？
• RQ4 勾配摂動コントローラーは、敵対的オンライン制御においてサブラインレジットと有限時間保証を達成可能か？
• RQ5 証明可能な性能保証を持つオンライン制御アルゴリズムを実装するための計算的・構造的要件は何か？

主な発見

• オンライン勾配降下アルゴリズムは、$ \frac{3}{2}GD\sqrt{T} $ のレジットバウンドを達成し、時間 $ T $ に対してサブラインであるため、長期的な平均性能が最良の固定ポリシーに近づく。
• レジットバウンドは凸性、射影の性質、テレスコピング級数を用いて導出され、ステップサイズ $ \eta_t = \frac{D}{G\sqrt{t}} $ が収束性と安定性の最適なトレードオフを保証する。
• 射影ステップにより、凸意思決定集合 $ \mathcal{K} $ 内での妥当性が保証され、その計算コストは凸最適化の複雑さによって上限が定まる。
• 最適ポリシーが事前に存在すると仮定せず、後から学習されるため、フレームワークは敵対的コスト関数および摂動に対してロバストである。
• 解析から、最悪のコスト関数であっても、累積レジットが線形より遅く増加することが示され、信頼性の高い性能保証が可能になる。
• 本手法は有限時間におけるレジットと計算複雑度の保証を提供するため、不確実性下でのリアルタイム制御アプリケーションに適している。