[論文レビュー] The Power of Predictions in Online Control

Chenkai Yu, Guanya Shi+3 more|arXiv (Cornell University)|Jun 13, 2020

Advanced Bandit Algorithms Research参考文献 30被引用数 9

ひとこと要約

本稿は、確率的および敵対的擾乱の下で予測を伴うオンライン線形二次調節器（LQR）制御を研究する。モデル予測制御（MPC）が僅か O(log T) の予測のみを用いても、O(1) の動的リグレットを達成できることを示し、理論的下界と一致することを示しており、予測に基づくグリーディなポリシーが両設定においてほぼ最適であることを示している。

ABSTRACT

We study the impact of predictions in online Linear Quadratic Regulator control with both stochastic and adversarial disturbances in the dynamics. In both settings, we characterize the optimal policy and derive tight bounds on the minimum cost and dynamic regret. Perhaps surprisingly, our analysis shows that the conventional greedy MPC approach is a near-optimal policy in both stochastic and adversarial settings. Specifically, for length-$T$ problems, MPC requires only $O(\log T)$ predictions to reach $O(1)$ dynamic regret, which matches (up to lower-order terms) our lower bound on the required prediction horizon for constant regret.

研究の動機と目的

• 確率的および敵対的擾乱の下で k 個の予測を伴うオンライン LQR における最適制御ポリシーと最小コストを特定すること。
• 追加の各予測の限界的利益と、ほぼ最適な性能を達成するのに必要な予測の数を特定すること。
• コストとリグレットの観点から、広く用いられているモデル予測制御（MPC）ポリシーが最適ポリシーに対してどのように性能を発揮するかを評価すること。
• 予測制約下での最適コストおよび最小動的リグレットのタイトな上限と下限を確立すること。

提案手法

• 確率的および敵対的設定の両方において、k 個の予測を伴う LQR のコスト最適および動的リグレット最小化ポリシーを導出する。
• スペクトル解析と行列ノルムの境界を用いて、最適ポリシーおよび MPC の性能を特徴付ける。
• k 個の予測を用いて有限区間最適化問題を解くグリーディなポリシーとしての MPC を分析する。
• 行列の減衰率およびスペクトル半径の性質を用いて、MPC および最適ポリシーのリグレットに対する上界を確立する。
• 競争比およびリグレット解析を用いて、MPC の性能をオフライン最適ポリシーおよびリグレット最小化ポリシーと比較する。
• 定数リグレットを達成するために必要な予測期間の下界を証明し、O(log T) が漸近的に最適であることを示す。

実験結果

リサーチクエスチョン

• RQ1 確率的および敵対的擾乱の下で、k 個の予測を伴うオンライン LQR 制御の最適ポリシーは何か？
• RQ2 定数リグレットを達成するためにどれだけの予測が必要か、また各予測の限界的利益はどのように減少するか？
• RQ3 確率的および敵対的設定の両方において、MPC はコスト最適およびリグレット最小化ポリシーに対してどのように性能を発揮するか？
• RQ4 MPC は予測数が非線形未満で有界なリグレットを達成できるか、そしてその数は最適か？
• RQ5 オンライン LQR 制御において、予測期間と動的リグレットの根本的トレードオフは何か？

主な発見

• MPC が O(log T) の予測を用いることで、確率的および敵対的 LQR の両設定において O(1) の動的リグレットを達成でき、下界と低次の項を除いて一致する。
• 追加の予測の限界的利益は k に対して指数関数的に減少し、対数的予測期間を超えるとリターンが急激に減少することが示唆される。
• 動的リグレットを最小化する最適ポリシーは、定数リグレットを達成するために Ω(log T) の予測期間を必要とし、O(log T) が漸近的にタイトであることを示している。
• MPC は確率的および敵対的設定の両方において、コスト最適ポリシーに対する有界な性能比を示しており、そのロバストネスを確認している。
• 理論的境界はほぼタイトであり、下位の項を除いて上界に近づくシステムが存在することを示している。
• 結果は、単純なグリーディな MPC が敵対的擾乱下でもほぼ最適であることを示しており、予測がアルゴリズムの複雑さを低減する力の大きさを強調している。