[論文レビュー] Online Optimal Control with Linear Dynamics and Predictions: Algorithms and Regret Analysis

Yingying Li, Xin Chen+1 more|arXiv (Cornell University)|Jun 26, 2019

Advanced Bandit Algorithms Research参考文献 56被引用数 28

ひとこと要約

本稿では、時変凸コストと有限予測期間の未来コストを伴う線形時不変系に対するオンライン最適制御アルゴリズムとして、再帰的ホライズン勾配ベース制御（RHGC）を提案する。予測情報を用いた再帰的ホライズンにおける勾配最適化を活用することで、RHGCは予測ウィンドウサイズに応じて指数関数的に減少する動的リグレットを達成し、線形二次追従問題における根本的性能限界に近づく。

ABSTRACT

This paper studies the online optimal control problem with time-varying convex stage costs for a time-invariant linear dynamical system, where a finite lookahead window of accurate predictions of the stage costs are available at each time. We design online algorithms, Receding Horizon Gradient-based Control (RHGC), that utilize the predictions through finite steps of gradient computations. We study the algorithm performance measured by dynamic regret: the online performance minus the optimal performance in hindsight. It is shown that the dynamic regret of RHGC decays exponentially with the size of the lookahead window. In addition, we provide a fundamental limit of the dynamic regret for any online algorithms by considering linear quadratic tracking problems. The regret upper bound of one RHGC method almost reaches the fundamental limit, demonstrating the effectiveness of the algorithm. Finally, we numerically test our algorithms for both linear and nonlinear systems to show the effectiveness and generality of our RHGC.

研究の動機と目的

• 時変コスト下でのオンライン最適制御における非漸近的性能ギャップを解消すること。
• 有限ホライズンの未来コスト予測を的確に活用できる計算効率の良いオンライン制御アルゴリズムの設計。
• オンライン制御アルゴリズムのタイトなリグレットバウンドの確立と、根本的性能限界の同定。
• 非線形ダイナミクスにおける数値的検証を通じて、RHGCの一般性と有効性を実証すること。

提案手法

• 予測ウィンドウ内で勾配法（例：勾配降下法、三重モーメンタム）を適用して制御入力を計算する、再帰的ホライズン勾配ベース制御（RHGC）を提案。
• 各時刻で、Wステップ先までの未来コストの予測を用いて局所最適化問題を解く再帰的ホライズンフレームワークを採用。
• 制御系列に対する勾配ベース更新を実施し、時間経過に伴いホライズンを前方にシフトさせることで、リアルタイムでの適応性を確保。
• 動的リグレット指標を用いてリグレットを分析し、未来コストの完全な知識を持つオフライン最適解と比較。
• 強い凸性および滑らかさの仮定の下で理論的リグレットバウンドを導出。予測ウィンドウサイズWに伴い指数関数的に減少することを示した。
• 線形二次追従問題における任意のオンラインアルゴリズムのリグレットに対する根本的下界を確立。RHTMの近似的最適性を示した。

実験結果

リサーチクエスチョン

• RQ1 時変線形系において、有限ホライズンの未来コスト予測を効果的に活用できるオンライン制御アルゴリズムはどのように設計できるか？
• RQ2 予測を伴うオンライン最適制御における動的リグレットの理論的性能限界（下界）は何か？
• RQ3 予測ウィンドウサイズWがオンライン制御アルゴリズムのリグレット減少率に及ぼす影響はどの程度か？
• RQ4 システムの可制御性は、予測ベースのオンライン制御アルゴリズムのリグレット性能にどのように影響するか？
• RQ5 予測ベースのオンライン制御アルゴリズムは、最悪ケースにおいて近似的最適性能に到達できるか？

主な発見

• 再帰的ホライズン勾配降下法（RHGD）の動的リグレットは予測ウィンドウサイズWに伴い指数関数的に減少し、予測情報の効果的利用を示した。
• 再帰的ホライズン三重モーメンタム（RHTM）のリグレットバウンドは、線形二次追従問題に対して導出された根本的下界にほぼ一致し、近似的最適性を示した。
• システムがより敏捷（アグイル）になるほどリグレットが減少し、可制御性インデックスが低くなることで定量的に示された。これは、より応答性の高いシステムで優れた性能を発揮することを示唆する。
• 理論的リグレットバウンドは強い凸性および滑らかさの仮定の下で導出されたが、数値実験により、これらの仮定が満たされない場合でもRHGCが有効であることが示された。
• 数値結果により、RHGCが線形系および非線形系の両方で有効であることが確認された。特に2輪移動ロボットの経路追従制御の例でも有効性を示し、LTI仮定を超えた一般性を裏付けた。
• 予測なしのオンラインアルゴリズムのリグレットは、RHGCフレームワークに統合することで、Wに伴い指数関数的に減少する要因として低減可能である。