[論文レビュー] The Power of Linear Controllers in LQR Control

Gautam Goel, Babak Hassibi|arXiv (Cornell University)|Feb 7, 2020

Smart Grid Energy Management被引用数 7

ひとこと要約

本稿は、確率的 Linear Quadratic Regulator (LQR) コントロールにおけるポリシーの後悔を分析し、3つのコントローラを比較する：最適オンライン（リッカティに基づく）、最適オフライン線形（状態フィードバック）、最適オフライン（グローバルに最適な行動）。T → ∞ のとき、最適オフライン線形ポリシーのコストが最適オンラインポリシーのコストにほとんど確実に収束することを証明しており、これはi.i.d.ノイズ下でも、最適オフラインポリシーに対する線形の後悔を意味する。これは、後悔最小化の下でLQRにおける線形コントローラーの根本的な性能限界を確立する。

ABSTRACT

The Linear Quadratic Regulator (LQR) framework considers the problem of regulating a linear dynamical system perturbed by environmental noise. We compute the policy regret between three distinct control policies: i) the optimal online policy, whose linear structure is given by the Ricatti equations; ii) the optimal offline linear policy, which is the best linear state feedback policy given the noise sequence; and iii) the optimal offline policy, which selects the globally optimal control actions given the noise sequence. We fully characterize the optimal offline policy and show that it has a recursive form in terms of the optimal online policy and future disturbances. We also show that cost of the optimal offline linear policy converges to the cost of the optimal online policy as the time horizon grows large, and consequently the optimal offline linear policy incurs linear regret relative to the optimal offline policy, even in the optimistic setting where the noise is drawn i.i.d from a known distribution. Although we focus on the setting where the noise is stochastic, our results also imply new lower bounds on the policy regret achievable when the noise is chosen by an adaptive adversary.

研究の動機と目的

• 確率的LQRにおける最適オンライン、最適オフライン線形、最適オフライン制御ポリシーの間の性能ギャップを特定すること。
• これらの3つのコントローラー間の時間平均コスト差としてポリシーの後悔を定量化すること。
• 最適オフライン線形ポリシーが、線形フィードバックに制約されても、時間の経過とともに最適オンラインポリシーのコストに漸近的に一致することを確立すること。
• 確率的設定からの結果を活用して、敵対的ノイズ下でのポリシー後悔の新たな下界を導出すること。
• 後悔最小化の下で線形コントローラーがオンラインLQR制御において有する限界を理論的基盤として提供すること。

提案手法

• リッカティ方程式を用いて最適オンラインポリシーを導出し、因果的線形フィードバック制御則 ut = -Ktxt を得る。
• 最適オフライン線形ポリシーを、既知のノイズ系列 w に対して総コストを最小化する線形状態フィードバックコントローラ K* として特徴付ける。
• 最適オンラインポリシーと将来の摂動を用いた最適オフラインポリシーの再帰的分解を適用する。
• McDiarmidの不等式を用いて、安定な線形ポリシーの時間平均コストがその無限時限の期待値の周りに集中することを示す。
• T → ∞ のとき、最適オフライン線形ポリシーのコストが最適オンラインポリシーのコストにほとんど確実に収束することを証明する。
• システム行列とリッカティ方程式の解を含むトレースに基づくコスト表現を用いて、3つのポリシー間の時間平均ポリシー後悔の明示的表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 確率的LQRにおいて、最適オフライン線形ポリシーのコストは、時間の経過とともに最適オンラインポリシーのコストとどのように比較されるか？
• RQ2 T → ∞ のとき、最適オンラインポリシーと最適オフライン線形ポリシーの間の時間平均ポリシー後悔は何か？
• RQ3 確率的設定からの結果を用いて、敵対的ノイズ下でのポリシー後悔の下界を導出できるか？
• RQ4 将来の摂動を考慮した場合、最適オフラインポリシーと最適オンラインポリシーの構造的関係は何か？
• RQ5 最適オフライン線形ポリシーは、最適オフラインポリシーに対して非線形後悔を達成するか？

主な発見

• T → ∞ のとき、最適オフライン線形ポリシーのコストが最適オンラインポリシーのコストにほとんど確実に収束することから、それらの間の時間平均後悔は消える。
• 最適オンラインポリシーと最適オフラインポリシーの間の時間平均ポリシー後悔は、システム行列のトレースとリッカティ方程式の解を含む非ゼロ定数に収束する。
• 最適オフライン線形ポリシーと最適オフラインポリシーの間の時間平均ポリシー後悔も、上記と同じ非ゼロ定数に収束する。
• 最適オフライン線形ポリシーは、i.i.d.ノイズが既知の分布から発生しても、最適オフラインポリシーに対して線形の後悔を被る。
• これらの結果は、敵対的LQR設定下で、任意の因果的ポリシーが達成可能な後悔の根本的な下界を示唆する。
• コストの収束は、集中不等式と最適コントローラー下での閉ループ系の安定性によって確立される。