[論文レビュー] Nonparametric Finite Time LTI System Identification

Tuhin Sarkar, Alexander Rakhlin+1 more|arXiv (Cornell University)|Feb 5, 2019

Control Systems and Identification参考文献 31被引用数 4

ひとこと要約

本稿では、ノイズのある入出力データから通常最小二乗法を用いて構築されたヘンケル型行列を用いて、未知の次数をもつ安定な線形時不変（LTI）システムの非パrametricかつ有限時間内のシステム同定手法を提案する。非凸最適化を回避することで、低次元近似を高精度に達成し、識別誤差が統計的下界の対数要因の範囲内で保証される。また、Ho-Kalmanアルゴリズムに密接に関連したデータ依存的なモデル次数選択手法を提供する。

ABSTRACT

We address the problem of learning the parameters of a stable linear time invariant (LTI) system or linear dynamical system (LDS) with unknown latent space dimension, or order, from a single time--series of noisy input-output data. We focus on learning the best lower order approximation allowed by finite data. Motivated by subspace algorithms in systems theory, where the doubly infinite system Hankel matrix captures both order and good lower order approximations, we construct a Hankel-like matrix from noisy finite data using ordinary least squares. This circumvents the non-convexities that arise in system identification, and allows accurate estimation of the underlying LTI system. Our results rely on careful analysis of self-normalized martingale difference terms that helps bound identification error up to logarithmic factors of the lower bound. We provide a data-dependent scheme for order selection and find an accurate realization of system parameters, corresponding to that order, by an approach that is closely related to the Ho-Kalman subspace algorithm. We demonstrate that the proposed model order selection procedure is not overly conservative, i.e., for the given data length it is not possible to estimate higher order models or find higher order approximations with reasonable accuracy.

研究の動機と目的

• 単一のノイズを含む入出力時系列から、未知の内部次元（次数）をもつ安定LTIシステムの有限時間内システム同定を扱う。
• 事前にシステム次数を知らなくてもよい非パrametricアプローチを開発し、有限データに基づいて最適なモデル次数を適応的に選択する。
• 最小二乗下界の対数要因の範囲内で、最良の低次元近似に対する識別誤差に統計的保証を提供する。
• 過剰に保守的でない、データに依存するモデル次数選択手順を構築し、利用可能なデータ長を最適に活用する。

提案手法

• ノイズのある有限入出力データから通常最小二乗法を用いてヘンケル型行列を構築し、システム同定における非凸性を回避する。
• 二重無限のシステムヘンケル行列の構造を活用して、システム次数および低次元近似を同時に捉える。
• 自己正規化マルティングール差分項の鋭い解析を適用し、識別誤差を対数要因の範囲でバウンドする。
• ヘンケル行列の特異値に基づく、データに依存する次数選択スキームを採用し、Ho-Kalman部分空間アルゴリズムにインspiredされたものである。
• システム実現問題を低ランク近似タスクとして定式化し、選択された次数におけるシステムパラメータ（A, B, C）の高精度推定を可能にする。
• アクティブ入力設計を採用し、Birgeの不等式およびLe Camの方法を適用して、識別誤差に関する情報理論的下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 非パrametricなシステム同定手法は、システム次数の事前知識なしに、有限のノイズを含むデータから高次元LTIシステムの高精度な低次元近似を達成できるか？
• RQ2 有限時間LTIシステム同定における識別誤差の根本的統計的限界は何か？ そして、提案手法はその限界を対数要因の範囲で達成できるか？
• RQ3 過学習を回避し、与えられたデータ長に対して、より高い次数のモデルが合理的な精度で推定できないことを保証するように、データ駆動型のモデル次数選択手順をどのように設計できるか？
• RQ4 Ho-Kalman部分空間アルゴリズムは、有限データおよびノイズを伴うシステム同定に、保証された統計的性質をもって適応可能か？
• RQ5 最小二乗ヘンケル行列推定器を用いることで、非凸最適化を回避し、局所最適解の問題を解消する非凸システム同定フレームワークを構築することは可能か？

主な発見

• 提案手法は、最小二乗下界の対数要因の範囲内で識別誤差を達成し、対数項を除いて統計的最適性を確立する。
• データに依存するモデル次数選択手順は、過剰に保守的ではなく、与えられたデータ長Tに対して、より高い次数のモデルは合理的な精度で推定できない。
• ヘンケル型行列に対する通常最小二乗法の使用は、非凸最適化を効果的に回避し、局所最適解の問題を解消したグローバル最適推定を可能にする。
• 理論的解析により、適切な仮定の下で識別誤差がO((log T)/T)のスケーリングで有界であることが確認され、そのバウンドはヘンケル行列の条件数に依存する。
• 真の次数が高くかつ未知であっても、真のシステムを高精度に近似する低ランク実現が、本手法によって成功裏に同定される。
• 既知のランクおよび条件数をもつ正準系の構築により、識別誤差に対するタイトな下界が得られ、理論的主張の妥当性が検証される。