[論文レビュー] On the Sample Complexity of Stabilizing LTI Systems on a Single Trajectory

Hu Yang, Adam Wierman+1 more|arXiv (Cornell University)|Feb 15, 2022

Advanced Control Systems Optimization被引用数 4

ひとこと要約

本稿では、未知の線形時不変（LTI）システムを、1本の軌道に沿ってのみ \tilde{O}(k) 個のサンプルで安定化する、スペクトル分解に基づく新規なアルゴリズムを提案する。ここで k は不安定固有値の数である。不安定部分空間内のダイナミクスの学習に特化することで、非線形のサンプル複雑度を達成し、状態ノルムの増大を 2^{\tilde{O}(k)} に制限する。これは、従来の方法が状態次元 n に線形に依存し、状態ノルムが指数関数的に増大するのと比べて顕著な改善である。

ABSTRACT

Stabilizing an unknown dynamical system is one of the central problems in control theory. In this paper, we study the sample complexity of the learn-to-stabilize problem in Linear Time-Invariant (LTI) systems on a single trajectory. Current state-of-the-art approaches require a sample complexity linear in $n$, the state dimension, which incurs a state norm that blows up exponentially in $n$. We propose a novel algorithm based on spectral decomposition that only needs to learn "a small part" of the dynamical matrix acting on its unstable subspace. We show that, under proper assumptions, our algorithm stabilizes an LTI system on a single trajectory with $ ilde{O}(k)$ samples, where $k$ is the instability index of the system. This represents the first sub-linear sample complexity result for the stabilization of LTI systems under the regime when $k = o(n)$.

研究の動機と目的

• 事前に安定化コントローラーの知識がない状態で、未知のLTIシステムを安定化するという根本的な課題に取り組む。
• 従来の最先端手法が状態次元 n に線形に依存するサンプル複雑度の上限を超える、学習による安定化アルゴリズムのサンプル複雑度を低減すること。
• 学習中の状態ノルムの爆発を最小限に抑え、現在では状態次元 n に指数関数的に依存するが、高次元システムへの適用を制限している要因を軽減すること。
• 具体的には、システムダイナミクスのうち必須な部分、特に不安定部分空間のみを学習することで、より少ないサンプルで効率的な安定化を実現する手法を開発すること。

提案手法

• システム行列 A のスペクトル分解を実行し、|固有値| > 1 に対応する固有ベクトルが張る不安定部分空間 Eu を特定する。
• A を Eu に制限した有効ダイナミクスにのみ学習を集中させ、その推定に必要なパラメータ数は O(k) 個に限定される。
• 3段階のプロセスを用いる：(1) 状態が Eu への射影が十分に大きくなるまで、1本の軌道に沿ってデータ収集を行う、(2) 不安定部分空間における最小二乗法を用いて制限されたダイナミクス行列を推定する、(3) 推定された不安定ダイナミクスに基づいて安定化コントローラーを設計する。
• コントローラーは、不安定固有モードを直接標的とする τ ステップのポリシーを用いて設計され、全システムの同定を回避する。
• 濃度不等式と和集合不等式を用いて理論的保証を導出し、弱い仮定のもとで適切な初期状態をサンプリングする確率が高くなる（1 - O(k^{-ℓ})）ことを示す。
• アルゴリズムはパラメータを動的に調整する：許容誤差を満たす最小の t₀、コントローラー安定性を満たす最小の τ を選択し、不安定成分が十分に成長した場合に加熱段階を早期に終了する。

実験結果

リサーチクエスチョン

• RQ1 状態次元 n に指数関数的に依存する状態ノルムの増大を避けて、1本の軌道でのみ学習することで、未知のLTIシステムを安定化できるか？
• RQ2 状態次元 n に対して非線形のサンプル複雑度を達成できるか。特に、不安定モードの数 k が n よりも著しく小さい場合に有効か？
• RQ3 全システム行列 A の学習を避けて、不安定部分空間にのみ集中することで、高い確率で安定化を保証できるか？
• RQ4 事前に安定化コントローラーが不明な状態で、LTIシステムを安定化するために必要な最小サンプル数は何か？

主な発見

• 提案されたアルゴリズムは、k が不安定固有値の数（不安定インデックス）であるとして、1本の軌道に沿って \tilde{O}(k) 個のサンプルでのみLTIシステムを安定化する。
• 学習中の状態ノルムの増大は 2^{\tilde{O}(k)} に抑えられ、k ≪ n の場合に従来手法の 2^{O(n)} 増大と比べて指数的に小さい。
• これは、不安定部分空間 Eu に制限されたダイナミクスのみを学習することで達成され、有効な学習次元を n から k に削減する。
• 学習を開始できる初期状態を適切にサンプリングする確率は、少なくとも 1 - O(k^{-ℓ}) であり、実用的な k の値では高い。
• 数値実験により、単純なシステム同定とポール配置法と比較して、必要な実行ステップ数が著しく少なく、状態ノルムの増大も著しく小さいことが確認された。
• 追加のガウスノイズに対してもロバストである。必要なステップ数はわずかに増加するが、不安定成分の指数的増大により、後段階ではノイズの影響が無視できるほど小さくなる。