[论文解读] Learning Without Mixing: Towards A Sharp Analysis of Linear System Identification

Max Simchowitz, Horia Mania+3 more|arXiv (Cornell University)|Feb 22, 2018

Control Systems and Identification被引用 116

一句话总结

本文证明普通最小二乘（OLS）在仅用单条轨迹即可识别线性动力系统时，能够获得接近极小极大（minimax）最优的估计速率；不依赖混合时间论证，而是通过对依赖数据的广义小球方法实现。

ABSTRACT

We prove that the ordinary least-squares (OLS) estimator attains nearly minimax optimal performance for the identification of linear dynamical systems from a single observed trajectory. Our upper bound relies on a generalization of Mendelson's small-ball method to dependent data, eschewing the use of standard mixing-time arguments. Our lower bounds reveal that these upper bounds match up to logarithmic factors. In particular, we capture the correct signal-to-noise behavior of the problem, showing that more unstable linear systems are easier to estimate. This behavior is qualitatively different from arguments which rely on mixing-time calculations that suggest that unstable systems are more difficult to estimate. We generalize our technique to provide bounds for a more general class of linear response time-series.

研究动机与目标

• 动机：在单条轨迹的线性系统识别中研究样本复杂度。
• 描述系统动力学如何通过可控性 Gramian 影响估计速率。
• 在边缘稳定区间（rho(A*) ≤ 1）为OLS给出接近极小极大上界。
• 建立与上界在对数因子范围内匹配的下界，以揭示信噪比行为。
• 将技术扩展到更广泛的线性响应时间序列类别。

提出的方法

• 将系统建模为 X_{t+1}=A_*X_t+η_t，其中 η_t ~ N(0, σ^2 I)。
• 分析OLS估计量 | Â(T)=argmin_A ∑_{t=1}^T 1/2 ||X_{t+1}-AX_t||_2^2.
• 引入并用有限时 controllability Gramian Γ_T = ∑_{s=0}^{T-1} A_*^s (A_*^s)^T 对其进行界定。
• 通过k-block martingale small-ball（BMSB）条件将 Mendelson 的小球方法推广到依赖数据。
• 通过将最小特征值 λ_min(Γ_k) 与估计误差尺度联系起来，建立高概率界。
• 给出线性响应的通用定理（定理2.4），在 Martingale 小球条件下。
• 对具体系统类应用推论（标量、缩放正交、可对角化）。

实验结果

研究问题

• RQ1 在一个单轨迹中，需要多少样本量以在算子范数下对 A_* 进行高概率估计？
• RQ2 有限时可控性 Gramian 如何影响在稳定和边缘稳定区间的估计速率？
• RQ3 在依赖数据背景下，OLS 是否能在不依赖混合时间的情况下达到极小极大最优速率？
• RQ4 不同系统结构（标量、缩放正交、可对角化）如何影响OLS的速率和常数？
• RQ5 结果能否推广到超越动力系统的广义线性时间序列的线性响应？

主要发现

• OLS 的估计误差界，与 1/√(T λ_min(Γ_k)) 的尺度相关，且带有对数因子。
• 对任意边缘稳定的 A_*（ρ(A_*) ≤ 1）成立的界不依赖于混合时间论证。
• 对于稳定系统，当 T 足够大时，上界可在不显式依赖区块长度的情况下给出（推论2.2）。
• 估计速率取决于系统的可激发性（通过可控性 Gramian；λ_min(Γ_k) 越大，学习越快）。
• 下界在某些区间内显示了极小极大在对数因子范围内的最优性（定理2.3）。
• 该框架可推广到通过 martingale 小球条件对线性响应的一般时间序列（定理2.4）。