[論文レビュー] Sample Complexity of Sparse System Identification Problem

Salar Fattahi, Somayeh Sojoudi|arXiv (Cornell University)|Mar 21, 2018

Control Systems and Identification参考文献 18被引用数 9

ひとこと要約

本稿では、線形時不変(LTI)システムにおけるスパースシステム同定のためのブロック正則化推定器を提案する。高次元統計を活用することで、最小限のデータで高精度な回復を達成する。サンプル複雑性がシステム次元に対して対数的に、ブロックサイズおよびスパarsityに対して多項的にスケーリングされることを示し、サンプル数がシステム次元よりもはるかに少ない場合でも、正確なスパarsity構造の回復が可能であることを実証する。

ABSTRACT

In this paper, we study the system identification problem for sparse linear time-invariant systems. We propose a sparsity promoting block-regularized estimator to identify the dynamics of the system with only a limited number of input-state data samples. We characterize the properties of this estimator under high-dimensional scaling, where the growth rate of the system dimension is comparable to or even faster than that of the number of available sample trajectories. In particular, using contemporary results on high-dimensional statistics, we show that the proposed estimator results in a small element-wise error, provided that the number of sample trajectories is above a threshold. This threshold depends polynomially on the size of each block and the number of nonzero elements at different rows of input and state matrices, but only logarithmically on the system dimension. A by-product of this result is that the number of sample trajectories required for sparse system identification is significantly smaller than the dimension of the system. Furthermore, we show that, unlike the recently celebrated least-squares estimators for system identification problems, the method developed in this work is capable of extit{exact recovery} of the underlying sparsity structure of the system with the aforementioned number of data samples. Extensive case studies on synthetically generated systems, physical mass-spring networks, and multi-agent systems are offered to demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 限られた入力-状態データサンプルにおいて、高次元的かつスパースな線形時不変(LTI)システムのシステム同定の課題に対処すること。
• サンプルサイズがシステム次元より小さい場合に失敗する古典的最小二乗推定器の限界を克服すること。
• 状態行列および入力行列におけるブロックスパarsityを活用して、必要なサンプル軌道数を削減する手法を開発すること。
• 小規模な要素単位推定誤差を保証する非漸近的サンプル複雑性の境界を確立すること。
• 有限サンプル条件下で真のスパarsity構造を正確に回復できることを実証すること

提案手法

• システム行列におけるブロックのℓ∞-ノルムをペナルティ項として用いるブロック正則化推定器を提案し、ブロックスパarsityを促進する。
• 高次元スケーリング下での非漸近的誤差境界を導出するために、高次元統計的手法を用いる。
• 各ブロックがサブシステム間の相互作用に対応するブロック構造を有する状態空間方程式をモデル化する。
• 限られた入力-状態軌道からシステム行列を推定するための正則化最適化フレームワークを適用する。
• 高次元におけるLasso型推定の結果を活用して、一貫性および誤差率の分析を行う。
• 数値的評価のため、連続時間システムを前進オイラー法で離散化する。

実験結果

リサーチクエスチョン

• RQ1 スパースLTIシステムにおいて、小規模な要素単位推定誤差を達成するために必要な最小の入力-状態サンプル軌道数は何か？
• RQ2 システム次元より少ないサンプル数で、ブロック正則化推定器が真のスパarsity構造を正確に回復できるか？
• RQ3 サンプル複雑性は、システム次元、ブロックサイズ、非ゼロブロック数にどのように依存するか？
• RQ4 有限サンプル領域において、推定精度の観点から、本手法は最小二乗法および標準Lassoと比較してどのように異なるか？
• RQ5 スイッチングトポロジを有するマルチエージェントおよびネットワーキングシステムにおいて、本手法はシステムダイナミクスを効果的に同定できるか？

主な発見

• 提案されたブロック正則化推定器は、サンプル軌道数がシステム次元に対して対数的に、ブロックサイズおよびスパarsityに対して多項的にスケーリングする閾値を超えた場合に、小規模な要素単位推定誤差を達成する。
• 本手法は、システム次元よりもはるかに少ないサンプル数で、システム行列の元のブロックスパarsity構造を正確に回復可能である。
• 質量-ばねネットワークでは、RME ≤ 0.1% を達成するためのサンプル軌道数がわずか900で十分であり、最小二乗法では2000サンプル以上が必要であった。
• ブロックサイズが(5,5)、(8,8)、(11,11)であるマルチエージェントシステムでは、それぞれ195、278、434のサンプル軌道でRME ≤ 0.1% を達成した。
• ブロック正則化推定器は、精度および実行可能性の両面で最小二乗法を上回り、サンプル数が900未満であっても有効に機能する一方、最小二乗法は一意に存在しなくなる。
• 本手法の正規化推定誤差は、全テスト対象のシステム次元およびサンプルサイズにおいて、常に最小二乗法のそれよりも低く保たれている。