[論文レビュー] Efficient Learning of Distributed Linear-Quadratic Controllers

Salar Fattahi, Nikolai Matni+1 more|arXiv (Cornell University)|Sep 21, 2019

Advanced Control Systems Optimization参考文献 76被引用数 8

ひとこと要約

本稿では、未知だがスパースな線形時不変システムにおいて、分散型の線形二次制御則を学習する、ロバストでスケーラブルな手法を提案する。Lassoを用いた構造的システム同定とSystem Level Synthesis（SLS）フレームワークを組み合わせることで、サブラインアーなサンプル複雑度とニアーライニアな時間複雑度を達成し、最小限のデータで安定性とニアーオプティマルな性能を保証する。40ノードのシステムに対して約150サンプルでの学習でオラクル性能に達することが実証された。

ABSTRACT

In this work, we propose a robust approach to design distributed controllers for unknown-but-sparse linear and time-invariant systems. By leveraging modern techniques in distributed controller synthesis and structured linear inverse problems as applied to system identification, we show that near-optimal distributed controllers can be learned with sub-linear sample complexity and computed with near-linear time complexity, both measured with respect to the dimension of the system. In particular, we provide sharp end-to-end guarantees on the stability and the performance of the designed distributed controller and prove that for sparse systems, the number of samples needed to guarantee robust and near optimal performance of the designed controller can be significantly smaller than the dimension of the system. Finally, we show that the proposed optimization problem can be solved to global optimality with near-linear time complexity by iteratively solving a series of small quadratic programs.

研究の動機と目的

• 安定性と性能が保証された大規模で未知のスパース線形時不変システムに対する分散型制御則の設計。
• 特にスパースなシステムにおいて、システム次元未満のサンプル複雑度で最適制御則を学習するための低減。
• システムサイズにほぼ線形な時間複雑度を達成することで、計算効率の確保。
• モデル不確実性下でも安定性、ロバスト性、性能ギャップに関するエンド・ツー・エンドの理論的保証の提供。
• スマートグリッドや交通網など、安全が求められるインfra構造への実用的導入の支援。

提案手法

• 局所化された構造を持つ分散型制御則をパrameter化するために、System Level Synthesis（SLS）フレームワークを活用する。
• 単一のシステムデータ軌跡から、Lassoベースの正則化推定器を用いてスパースなシステム行列 $A_\star$ と $B_\star$ を同定する。
• 推定誤差のタイトな、データ駆動型上界を計算するためのブートストラップ法（アルゴリズム2）を適用する。
• モデル不確実性を考慮し、安定性を保証するように、アルゴリズム1を用いてロバストな分散型制御則を設計する。
• 実用性と局所化可能性を確保するため、制御則実装に有限インパulse応答（FIR）構造を採用する。
• 小さな二次計画問題を繰り返し解くことで、最適化問題を解き、ニアーライニアな時間複雑度を達成する。

実験結果

リサーチクエスチョン

• RQ1 未知でスパースな線形システムにおいて、理論的安定性と性能保証を伴う分散型制御則を、効率的に学習可能か？
• RQ2 ニアーオプティマルな性能を達成する分散型制御則を学習するために、最小でどの程度のサンプル数が必要か？
• RQ3 分散型制御則合成の計算複雑度をシステム次元に対してニアーライニアにできるか？
• RQ4 FIR長の選択が、学習済み制御則の性能とロバスト性にどのように影響するか？
• RQ5 ブートストラップによる推定誤差の上界は、実際の真のモデル誤差を信頼性高くカバーできるか？

主な発見

• 提案手法はサブラインアーなサンプル複雑度を達成した：40ノードのシステムでは、オラクル制御則コストに到達するのに約150サンプルで十分であり、システム行列の非ゼロ要素数とほぼ一致する。
• 限られたデータでもエンド・ツー・エンドの制御則性能がオラクルコストに非常に近い結果を示し、ニアーオプティマル性を実証した。
• 実測の実行時間は $\mathcal{O}(n^{1.004})$ のスケーリングを示し、ニアーライニアな時間複雑度を裏付けた。また、高度に並列化可能である。
• FIR長を4から8に増加させると性能が著しく向上するが、8から12に増加させてもわずかな改善にとどまり、$L=8$ が実用的選択であることを示唆した。
• ブートストラップによる推定誤差が真の推定誤差を信頼性高くカバーしており、不確実性評価手法の妥当性を検証した。
• システム行列が未知で、データからの推定にのみ依存する状況においても、安定性とニアーオプティマルな性能を保証する。