[論文レビュー] Finite Time Identification in Unstable Linear Systems

Mohamad Kazem Shirani Faradonbeh, Ambuj Tewari+1 more|arXiv (Cornell University)|Oct 5, 2017

Control Systems and Identification参考文献 17被引用数 4

ひとこと要約

本稿は、不安定な線形力学系における遷移行列の最小二乗推定に関して、重尾ノイズ下でも有限時間の同定バウンドを確立する。ランダム行列の濃縮不等式とマルティンゲール差分の反濃縮性質を活用し、システム次元、遷移行列の固有値特性、ノイズの尾部挙動に依存する非漸近的誤差バウンドを導出する。

ABSTRACT

Identification of the parameters of stable linear dynamical systems is a well-studied problem in the literature, both in the low and high-dimensional settings. However, there are hardly any results for the unstable case, especially regarding finite time bounds. For this setting, classical results on least-squares estimation of the dynamics parameters are not applicable and therefore new concepts and technical approaches need to be developed to address the issue. Unstable linear systems arise in key real applications in control theory, econometrics, and finance. This study establishes finite time bounds for the identification error of the least-squares estimates for a fairly large class of heavy-tailed noise distributions, and transition matrices of such systems. The results relate the time length (samples) required for estimation to a function of the problem dimension and key characteristics of the true underlying transition matrix and the noise distribution. To establish them, appropriate concentration inequalities for random matrices and for sequences of martingale differences are leveraged.

研究の動機と目的

• 古典的な最小二乗法が状態の爆発により失敗する不安定な線形力学系における、有限時間同定結果の不足に応える。
• 一般の重尾ノイズ分布下で、不安定なシステムにおける遷移行列の最小二乗推定に対する非漸近的誤差バウンドを提供する。
• システム次元、遷移行列のスペクトル的性質、ノイズの尾部挙動に基づいて、正確な同定に必要な標本複雑度を特定する。
• ランダム行列理論とマルティンゲール差分列の理論的ツールを不安定なダイナミクスに拡張し、状態ノルムの指数的増加に対処する。

提案手法

• 遷移行列 $A_0$ のスペクトル分解を用いて、状態ベクトルのダイナミクスを安定部分空間と不安定部分空間に分解する。
• ランダム行列の濃縮不等式を適用し、不安定部分空間における状態軌道のグラム行列の挙動を制御する。
• マルティンゲール差分列の反濃縮性質を用いて、ノイズ重み付き状態行列の最大特異値をバウンドする。
• 高次元かつ不安定な設定における推定を安定化するために、グラム行列 $\Sigma_n^{-1/2}$ の逆平方根を用いた正則化的構造を導入する。
• 安定部分空間と不安定部分空間に沿った誤差成分に分解することで、最小二乗推定量の $\ell_2$ 誤差に対する高確率バウンドを導出する。
• スペクトルノルムと固有値の減衰・増大率（例：$|\lambda_{\min}(A_2)|^{-n/3}$）を用いて、不安定ダイナミクスが誤差に与える影響を定量化する。

実験結果

リサーチクエスチョン

• RQ1 不安定な線形系で重尾ノイズが存在する状況下での、遷移行列の最小二乗推定に対する有限時間誤差バウンドは何か？
• RQ2 必要な標本サイズ $n$ は、システム次元と遷移行列のスペクトル的性質にどのように依存するか？
• RQ3 ランダム行列の濃縮不等式とマルティンゲール差分の性質を、状態ノルムが指数的に増加する不安定なダイナミクスに適応可能か？
• RQ4 遷移行列の固有値とノイズ分布の尾部挙動が、同定の時間枠に与える影響は何か？
• RQ5 推定誤差は、特に固有値の大きさと重複度を考慮した不安定部分空間の構造にどのように依存するか？

主な発見

• 本稿は、一般の重尾ノイズ下で、不安定な線形系における最小二乗推定量の $\ell_2$ 誤差に対する高確率有限時間バウンドを確立する。
• 必要な標本サイズ $n$ は、システム次元 $p$、遷移行列の不安定部のスペクトル半径、ノイズ分布の尾の厚さに依存する。
• 有利なスペクトル条件下では誤差バウンドが $O(n^{-1/2})$ に減少するが、そのレートは不安定成分の最小固有値の逆数によって調整される。
• 不安定部分空間では、推定誤差が $n^{\mu(A_2) - 1/2} |\lambda_{\min}(A_2)|^{-2n/3}$ のスケーリングを示す項によって制御され、状態ノルムの指数的増加を反映する。
• 解析により、ノイズがサブガウス型または有限モーメントを持つ重尾型であっても、有限時間内に正確な同定が可能であることが示された。
• 導出されたバウンドは非漸近的であり、システムの不安定性、ノイズ特性、標本複雑度の間のトレードオフを明示的に定量化している。