[論文レビュー] Finite-Time System Identification for Partially Observed LTI Systems of Unknown Order.

Tuhin Subhra Sarkar, Alexander Rakhlin+1 more|arXiv (Cornell University)|Feb 5, 2019

Control Systems and Identification参考文献 24被引用数 58

ひとこと要約

本稿では、未知の次数をもつ安定LTI系に対して、非凸性を回避し、低次元近似を高精度で行えるようにする、ハンケル型最小二乗法を用いた有限時間内システム同定手法を提案する。最小上限最適な次数選択と、データに依存するモデル次数の推定により、真のシステムの高確率近似を達成する。

ABSTRACT

We address the problem of learning the parameters of a stable linear time invariant (LTI) system with unknown latent space dimension, or extit{order}, from its noisy input-output data. In particular, we focus on learning the parameters of the best lower order approximation allowed by the finite data. This is achieved by constructing a Hankel-like representation of the underlying system using ordinary least squares. Such a representation circumvents the non-convexities that typically arise in system identification, and it allows accurate estimation of the underlying LTI system. Our results rely on a careful analysis of a self-normalized martingale difference term that helps bound identification error up to logarithmic factors of the lower bound. We provide a data-dependent scheme for order selection and find a realization of system parameters, corresponding to that order, by an approach that is closely related to the celebrated Kalman-Ho subspace algorithm. We show that this realization is a good approximation of the underlying LTI system with high probability. Finally, we demonstrate that the proposed model order selection procedure is minimax optimal, i.e., for the given data length it is not always possible to estimate higher order models or find higher order approximations with reasonable accuracy.

研究の動機と目的

• ノイズが混在する入出力データのみを用いて、未知の潜在次元（次数）をもつ安定LTI系のシステム同定を実行する。
• 有限データによって許容される最小次元の近似を推定する手法を開発し、非凸最適化の課題を回避する。
• 与えられたデータ長に対して最小上限最適なデータ依存モデル次数選択手順を提供する。
• カルマン＝ホー部分空間アルゴリズムに類似した実現手法を用いて、基礎となるシステムの高確率近似を保証する。
• 最小上限下限値の対数因子までタイトな識別誤差の理論的境界を確立する。

提案手法

• 入出力データに対する通常最小二乗法を用いて、システムのインパルス応答のハンケル型行列表現を構築する。
• 推定誤差を制御し、高確率境界を導出するために自己正規化マルティンググド・差分項を用いる。
• ハンケル行列の特異値に基づくデータ依存次数選択スキームを適用し、最小十分なモデル次数を特定する。
• カルマン＝ホー部分空間アルゴリズムに密接に関連した実現手法を用いて、安定性と正確性を確保するシステムパラメータを再構築する。
• ハンケル行列の構造を活用することで、非凸最適化を回避し、凸的かつ実行可能な推定を可能にする。
• 集中不等式とマルティングル技術を用いて識別誤差を分析し、タイトな誤差境界を達成する。

実験結果

リサーチクエスチョン

• RQ1 有限時間内にノイズが混在する入出力データから、未知の次数をもつ安定LTI系を凸最適化フレームワークを用いて同定可能か？
• RQ2 データ駆動的かつ高確率近似を保証するモデル次数選択は、どのように実現できるか？
• RQ3 有限時間観測下で、未知の次数をもつシステムの識別精度の根本的限界は何か？
• RQ4 提案手法は、モデル次数選択およびパラメータ推定において最小上限最適性を達成できるか？
• RQ5 自己正規化マルティングル差分項は、有限時間内システム同定におけるタイトな誤差境界にどのように寄与するか？

主な発見

• 提案手法は、ハンケルベースの最小二乗推定量を構築することで、基礎となるLTI系の高確率近似を達成する。
• 識別誤差は、最小上限下限値の対数因子まで有界であり、近似的に最適な性能を示す。
• データ依存モデル次数選択手順は最小上限最適であり、同じデータ長下でより高い次数のモデルは同等の精度で推定できないことを意味する。
• ハンケル型表現を用いることで非凸性を回避し、凸的かつ安定したパラメータ推定を可能にする。
• カルマン＝ホーにインspiredなアプローチによるシステムパラメータの実現により、真のシステムの安定的かつ正確な近似が得られる。
• 理論的分析により、手法の誤差境界がタイトであることが確認され、主な誤差項が自己正規化マルティングル差分列によって制御されている。