[論文レビュー] Efficient learning of hidden state LTI state space models of unknown order

Boualem Djehiche, Othmane Mazhar|arXiv (Cornell University)|Feb 3, 2022

Blind Source Separation Techniques被引用数 4

ひとこと要約

本稿では、単一の観測軌道から未知の次数を有する隠れ状態線形時不変（LTI）状態空間モデルを学習するための新しいアルゴリズムを提案する。ハーケル正則化最小二乗法と修正されたホ・カラマン手順を組み合わせることで、高い確率で高速な $S_2$-ノルム推定レートと正確なシステム次数回復を達成し、先行研究と比較して標本複雑性と次元依存性において顕著な改善を実現する。

ABSTRACT

The aim of this paper is to address two related estimation problems arising in the setup of hidden state linear time invariant (LTI) state space systems when the dimension of the hidden state is unknown. Namely, the estimation of any finite number of the system's Markov parameters and the estimation of a minimal realization for the system, both from the partial observation of a single trajectory. For both problems, we provide statistical guarantees in the form of various estimation error upper bounds, $ ank$ recovery conditions, and sample complexity estimates. Specifically, we first show that the low $ ank$ solution of the Hankel penalized least square estimator satisfies an estimation error in $S_p$-norms for $p \in [1,2]$ that captures the effect of the system order better than the existing operator norm upper bound for the simple least square. We then provide a stability analysis for an estimation procedure based on a variant of the Ho-Kalman algorithm that improves both the dependence on the dimension and the least singular value of the Hankel matrix of the Markov parameters. Finally, we propose an estimation algorithm for the minimal realization that uses both the Hankel penalized least square estimator and the Ho-Kalman based estimation procedure and guarantees with high probability that we recover the correct order of the system and satisfies a new fast rate in the $S_2$-norm with a polynomial reduction in the dependence on the dimension and other parameters of the problem.

研究の動機と目的

• 状態次元が未知である場合の、隠れ状態LTIシステムにおけるマコフパラメータと最小実現の推定という課題に取り組む。
• 単一軌道学習における非漸近的統計的保証（推定誤差バウンドと標本複雑性推定）を提供する。
• システム次元およびハーケル行列の特異値への依存性を低減することで、既存手法を改善する。
• 高い確率で真のシステム次数を回復することを保証しながら、高速な収束レートを維持する。

提案手法

• $p \in [1,2]$ に対して改善された $S_p$-ノルム誤差バウンドを達成するハーケル正則化最小二乗推定器を用いて、マコフパラメータを回復する。
• ハーケル行列の最小特異値に敏感でない安定性を向上させるために、ホ・カラマンアルゴリズムの変種を適用する。
• ランク回復と安定性を保証するため、バーニング時間 $T_1 = \bar{d}_0 + 1$（$\bar{d}_0 = d_0 \vee \check{\eta}$）を導入する。
• 2段階推定手順を採用：まず正則化回帰によりマコフパラメータを推定し、次に修正されたホ・カラマン手順を適用して最小実現を抽出する。
• システム次元に多項式的に依存し、可観測性行列の最小特異値に逆比例する明示的な標本複雑性バウンドを導出する。
• サブガウスノイズ仮定の下で、濃度不等式とサブガウス型尾部バウンドを用いて、高い確率での保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 未知の次数を有する隠れ状態LTIシステムにおいて、マコフパラメータの高速な $S_2$-ノルム推定レートを達成できるか？
• RQ2 単一の軌道から、真のシステム次数の高い確率での回復をどのように保証できるか？
• RQ3 システム次元が未知である場合、マコフパラメータを推定するための最適な標本複雑性は何か？
• RQ4 提案手法は、既存の最小二乗法およびホ・カラマン手法と比較して、次元依存性および特異値感度の面でどのように改善されるか？
• RQ5 推定次元ではなく真の次元に依存する非漸近的誤差バウンドを導出できるか？

主な発見

• ハーケル正則化最小二乗推定器は、高い確率で $S_2$-ノルム推定誤差バウンド $\mathcal{L}^\mathcal{M}_2(\hat{\mathcal{M}},\bar{\mathcal{M}}) \leq \frac{20(1+|\bar{A}|_{S_\infty})(\bar{d}_0+\eta+1)^{3/2}\lambda_1}{(\sqrt{2}-1)^{1/2}s_{d_0}(Hg_{0,d_0})\sigma_u^2}$ を達成する。
• $\mathcal{L}^H_2(\hat{g},g_0) \leq \epsilon$ を達成するための標本複雑性は $\bar{N} \gtrsim \frac{\phi^2(1+|\bar{A}|_{S_\infty})^2(d_0+\eta)^3N_0}{s_{d_0}^2(Hg_{0,d_0})\epsilon^2}$ に比例し、次元に多項式的依存、特異値ギャップに逆比例する。
• 本手法は、高い確率で正確なシステム次数回復を保証し、先行研究で見られた $\hat{d}$ に指数的依存する問題を回避する。
• 誤差バウンドは推定次元 $\hat{d}$ ではなく真の次元 $d_0$ に依存するため、より高いロバストネスと解釈可能性を実現する。
• 標準的なホ・カラマン手法と比較して、ハーケル行列の最小特異値への依存性を低減し、安定性を向上させる。
• 先行研究が最小特異値ギャップにのみ感度を示すのに対し、本手法はすべての特異値ギャップへの感度を除去することで、既存のバウンドを改善する。