[論文レビュー] Regret Lower Bounds for Learning Linear Quadratic Gaussian Systems

Ingvar Ziemann, Henrik Sandberg|arXiv (Cornell University)|Jan 5, 2022

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

この論文は、未知の線形二次ガウス（LQG）システムの適応制御における情報理論的レジット下界を確立し、レジットが Ω(√T) のスケーリングを示し、可制御性、可観測性、グラミアン構造といったシステム理論的性質に強く依存することを示している。下界は、可制御性や可観測性が悪いシステムは学習して制御することが根本的に難しいことを明らかにし、システム理論的定数におけるスケーリングの面で先行研究を改善している。

ABSTRACT

TWe establish regret lower bounds for adaptively controlling an unknown linear Gaussian system with quadratic costs. We combine ideas from experiment design, estimation theory and a perturbation bound of certain information matrices to derive regret lower bounds exhibiting scaling on the order of magnitude $\sqrt{T}$ in the time horizon $T$. Our bounds accurately capture the role of control-theoretic parameters and we are able to show that systems that are hard to control are also hard to learn to control; when instantiated to state feedback systems we recover the dimensional dependency of earlier work but with improved scaling with system-theoretic constants such as system costs and Gramians. Furthermore, we extend our results to a class of partially observed systems and demonstrate that systems with poor observability structure also are hard to learn to control.

研究の動機と目的

• 未知の線形ガウスシステムに二次コストを伴う適応制御の根本的性能限界を確立すること。
• 可制御性や可観測性といったシステム理論的性質が、制御を学ぶ難易度にどのように影響するかを定量化すること。
• グラミアンやコスト行列を含むシステムパラメータとのスケーリングを正確に反映するレジット下界を導出すること。
• 部分観測系への結果の拡張を行い、可観測性が悪いと学習の難易度が増加することを示すこと。
• 測定ノイズがフルランクであっても、一般には対数的レジットが達成できないことを示すこと、ただしより強い仮定が成立する場合を除く。

提案手法

• 実験設計、推定理論、および情報行列の摂動解析のツールを組み合わせ、下界を導出する。
• フィッシャー情報行列の摂動バウンドを用いて、推定の不確実性と制御レジットを関連付ける。
• パラメータ近傍領域 B(θ, ε) におけるミニマックスフレームワークを適用し、モデル不確実性に対してロバスト性を確保する。
• 特に Σ̂X¹（フィルタード状態共分散）を含む極限共分散行列を用いて、漸近的レジット下界を導出する。
• 不安定モードと部分的可観測性を有する構造化されたシステムモデルを導入し、学習における失敗モードを露呈する。
• 行列解析を用いて、システムダイナミクスと制御ゲインを含む情報行列積のトレースをバウンドする。

実験結果

リサーチクエスチョン

• RQ1 未知の線形ガウスシステムに二次コストを伴う制御を学ぶための根本的下界は何か？
• RQ2 可制御性や可観測性といったシステム理論的性質は、制御を学ぶ難易度にどのように影響するか？
• RQ3 測定ノイズがフルランクである部分観測LQGシステムにおいて、対数的レジットを達成できるか？
• RQ4 制御ポリシーの選択は、学習における探索と活用のトレードオフにどのように影響するか？
• RQ5 フィッシャー情報行列の構造は、根本的学習限界を決定する上で果たす役割は何か？

主な発見

• レジット下界は Ω(√T) のスケーリングを示し、未知LQGシステムを制御するための学習が、本質的に非線形だが消えないレジットを伴うことを確認している。
• 可制御性や可観測性が悪いシステムでは、顕著に高いレジット下界を示し、制御の難易度が学習の難易度に直接関与していることを確認している。
• グラミアンやコスト行列といったシステム理論的定数とのスケーリングにおいて、先行研究に比べて改善された下界が得られている。
• 部分観測系では、不安定モードの可観測性が失われるとき、特に ‖C23‖op → 0 のとき、レジット下界が発散することが判明した。
• 漸近的レジット下界を支配するのは、原始的な状態共分散ではなく、フィルタード状態共分散 Σ̂X¹ であることが示された。これは検出可能性と安定性の影響を反映している。
• ΣV ≻ 0 だけでは対数的レジットが達成できないことが示され、先行研究の仮定に疑問を呈し、恒常的な励起性といったより強い条件の必要性を強調している。