[论文解读] Learning Linear Dynamical Systems with Semi-Parametric Least Squares

Max Simchowitz, Ross Boczar+1 more|arXiv (Cornell University)|Feb 2, 2019

Control Systems and Identification参考文献 40被引用 30

一句话总结

本文提出了一种预滤波最小二乘估计器（PF-LS），用于在半参数噪声下学习部分可观测的线性动态系统，该方法可证明地缓解长期依赖带来的方差问题。它建立了首个参数估计算法，其收敛速率与相关性的衰减速率无关，即使在边际稳定性条件下也成立——这使得在具有牛顿力学类动力学特性的系统中，能够实现对随机噪声和最坏情况噪声的鲁棒学习。

ABSTRACT

We analyze a simple prefiltered variation of the least squares estimator for the problem of estimation with biased, semi-parametric noise, an error model studied more broadly in causal statistics and active learning. We prove an oracle inequality which demonstrates that this procedure provably mitigates the variance introduced by long-term dependencies. We then demonstrate that prefiltered least squares yields, to our knowledge, the first algorithm that provably estimates the parameters of partially-observed linear systems that attains rates which do not not incur a worst-case dependence on the rate at which these dependencies decay. The algorithm is provably consistent even for systems which satisfy the weaker marginal stability condition obeyed by many classical models based on Newtonian mechanics. In this context, our semi-parametric framework yields guarantees for both stochastic and worst-case noise.

研究动机与目标

• 解决由于长期相关性和弱衰减依赖关系导致的线性动态系统中高方差估计问题。
• 为在半参数噪声下部分可观测的线性系统开发一个可证明一致的估计器，涵盖随机噪声和最坏情况噪声模型。
• 消除估计速率对长期相关性衰减速率的最坏情况依赖，这是先前工作中存在的局限性。
• 将一致参数估计扩展至仅满足边际稳定性条件的系统，该条件弱于严格稳定性，对经典力学系统具有相关性。

提出的方法

• 提出一种预滤波最小二乘（PF-LS）估计器，通过预滤波变换对输入数据进行处理，以解耦长期依赖关系。
• 采用奈曼正交设计，其中输入为 i.i.d. 高斯分布，确保噪声与回归变量之间的不相关性，以实现半参数一致性。
• 将系统建模为具有结构化响应矩阵 $ G_{\star} $ 的半参数回归，该矩阵表示从输入到输出的 $ T $ 步脉冲响应。
• 采用滤波设计，其中输入向量 $ \overline{\mathbf{u}}_t $ 将一个时间窗 $ T $ 内的过去输入拼接起来，从而实现对系统有限脉冲响应的估计。
• 应用一个 oracle 不等式，以系统响应的算子范数和噪声项来界定估计误差，确保鲁棒性。
• 推导出估计误差的界，其尺度为 $ \sqrt{N(m + \log(1/\delta))} $，且不依赖于系统的谱衰减速率。

实验结果

研究问题

• RQ1 是否可以通过修改最小二乘估计器来减少线性动态系统中由于长期依赖关系导致的方差？
• RQ2 是否可能在不假设严格稳定性的情况下，实现对部分可观测线性系统的参数估计一致性？
• RQ3 能否推导出不依赖于长期相关性衰减速率的估计速率？
• RQ4 所提出的方法是否在随机噪声和最坏情况（盲目）噪声模型下均保持一致性？

主要发现

• 预滤波最小二乘估计器（PF-LS）通过一种确保奈曼正交性的滤波机制，可证明地缓解了长期依赖关系带来的方差。
• 该方法实现了不依赖于系统相关性衰减速率的估计误差界，打破了先前方法中存在的最坏情况依赖。
• 该算法即使在边际稳定系统（如受牛顿力学支配的系统）中也具有可证明的一致性，而这些系统并非严格稳定。
• 半参数框架可得到非渐近误差界，且在随机噪声和最坏情况噪声下均以高概率成立。
• 误差界按 $ \sqrt{N(m + \log(1/\delta))} $ 刻画，附加项取决于系统的响应和噪声范数，但不依赖于谱衰减。
• 分析表明，系统响应矩阵的算子范数和噪声结构是估计误差的关键决定因素，而非相关性衰减速率。