[論文レビュー] Learning Without Mixing: Towards A Sharp Analysis of Linear System Identification

Max Simchowitz, Horia Mania+3 more|arXiv (Cornell University)|Feb 22, 2018

Control Systems and Identification参考文献 14被引用数 50

ひとこと要約

この論文は、通常最小二乗法（OLS）が、依存データの小球分析を中心とした新規の有限時間コントロラビリティグラムに基づく手法を用いて、単一の軌道から線形ダイナミクス系を同定する際にほぼミンマックス最適なレートを達成することを示す。

ABSTRACT

We prove that the ordinary least-squares (OLS) estimator attains nearly minimax optimal performance for the identification of linear dynamical systems from a single observed trajectory. Our upper bound relies on a generalization of Mendelson's small-ball method to dependent data, eschewing the use of standard mixing-time arguments. Our lower bounds reveal that these upper bounds match up to logarithmic factors. In particular, we capture the correct signal-to-noise behavior of the problem, showing that more unstable linear systems are easier to estimate. This behavior is qualitatively different from arguments which rely on mixing-time calculations that suggest that unstable systems are more difficult to estimate. We generalize our technique to provide bounds for a more general class of linear response time-series.

研究の動機と目的

• 時系列データから線形ダイナミクス系を同定する際のサンプル複雑性を動機づけ、定量化する。
• スペクトル半径が1以下の限界で、OLSの鋭い非漸近誤差界を開発する。
• 推定難易度をコントロラビリティグラムとその最小固有値に関連付ける。
• 標準的なLTI系を超える、より広い線形応答の時系列への一般化を提供する。

提案手法

• X_{t+1}=A_*X_t+η_t（X_0=0、η_t ~ N(0, σ^2I））に対するOLS推定量を分析する。
• 有限時間コントロラビリティグラム Γ_Tとその最小固有値 λ_min(Γ_T) に関して、作用素ノルム誤差 ||â(T)−A_*||_opを境界づける。
• Mendelsonの小球法を、kブロックマルチンゲールの小球（BMSB）条件を介して依存データへ generalize。
• 線形応答とマルチンゲール小球条件を備えた、純粋なLTI系を超える結果を拡張する一般的な時系列フレームワークを導入する。
• 共変量-応答ペアに対して、(k,Γ_sb,p)-BMSB 条件の下で境界を与えるメタ定理（定理2.4）を提供する。

実験結果

リサーチクエスチョン

• RQ1 単一の観測軌道から線形ダイナミクス系のA_*を推定する際の非漸近誤差率はどのようなものか？
• RQ2 有限時間コントロラビリティグラム行列は推定精度とサンプル複雑性にどのように影響するか？
• RQ3 依存データの小球アプローチは、混合時間の議論なしにミンマックスに近いレートを生み出せるか。特に不安定性に近い場合（ρ(A_*)≈1）？
• RQ4 純粋な状態進化を超える、より広い線形応答時系列へ結果はどう拡張されるか？

主な発見

• OLSは高確率の作用素ノルム誤差界を達成し、それは 1/√(T λ_min(Γ_k)) に比例する。
• 有限時間コントロラビリティグラムΓ_Tの最小固有値が速度を決定し、励起しやすい（λ_minが大きい）系は推定が容易であることを示す。
• 多くの領域で、漸近的ではなく非漸近境界が対数因子を除いてミニマックスレートに一致する。
• 一般的な結果（定理2.4）は、小球条件の下で線形応答を持つ時系列にも同様の保証を提供する。
• スカラー、スケーリング正交、対角化可能なシステムについて、明示的なレートを導出し、最適なブロック長の選択を論じる。