[论文解读] Learning Linear Dynamical Systems via Spectral Filtering

Elad Hazan, Karan Singh+1 more|arXiv (Cornell University)|Nov 2, 2017

Advanced Bandit Algorithms Research参考文献 14被引用 5

一句话总结

该论文提出了一种新颖的在线学习算法，用于预测具有对称转移矩阵的离散时间线性动态系统（LDS），通过利用Hankel矩阵的特征向量进行谱滤波。该方法通过多对数过参数化，将非凸系统辨识问题转化为凸优化任务，实现了近乎最优的遗憾边界和多项式时间收敛，且无需稳定性假设或对隐藏状态的先验知识。

ABSTRACT

We present an efficient and practical algorithm for the online prediction of discrete-time linear dynamical systems with a symmetric transition matrix. We circumvent the non-convex optimization problem using improper learning: carefully overparameterize the class of LDSs by a polylogarithmic factor, in exchange for convexity of the loss functions. From this arises a polynomial-time algorithm with a near-optimal regret guarantee, with an analogous sample complexity bound for agnostic learning. Our algorithm is based on a novel filtering technique, which may be of independent interest: we convolve the time series with the eigenvectors of a certain Hankel matrix.

研究动机与目标

• 解决线性动态系统（LDS）中转移矩阵A为对称且未知时的系统辨识挑战。
• 克服现有方法（如EM）中LDS参数估计固有的非凸性，从而难以获得理论保证。
• 开发一种实用且高效的在线时间序列预测算法，无需依赖隐藏状态知识或稳定性约束。
• 在不依赖A的条件数的情况下，实现与T相关的多项式时间遗憾和样本复杂度保证，即使当||A|| = 1时亦成立。
• 在批量学习设置中实现无偏学习，提供无需假设数据由LDS生成的泛化边界。

提出的方法

• 基于从时间序列数据构建的Hankel矩阵的特征向量，使用一种谱滤波技术。
• 通过多对数因子对LDS模型的假设类进行过参数化，将非凸问题转化为凸问题。
• 应用一种波形滤波机制，将时间序列与Hankel矩阵的特征向量进行卷积，这些特征向量具有波形形状并能捕捉系统动态。
• 将预测问题表述为在线凸优化任务，其损失函数在过参数化空间中为凸函数。
• 利用Hankel矩阵谱理论的最新进展，确保滤波操作近似质量的理论保证。
• 通过浓度不等式和范数不等式（包括对特定向量如μ(α)的ℓ1和ℓ2范数的界）推导出遗憾和样本复杂度边界。

实验结果

研究问题

• RQ1 我们能否在不假设稳定性或已知隐藏状态的前提下，实现对称转移矩阵LDS的可证明高效且稳定的预测？
• RQ2 是否可以通过过参数化将非凸系统辨识问题转化为凸优化框架，同时保持预测准确性？
• RQ3 与基于EM或回归的现有方法相比，所提出的谱滤波方法在遗憾和样本复杂度方面表现如何？
• RQ4 该算法能否在不依赖谱半径假设的前提下，推广到对抗性选择的数据和无限维状态空间？
• RQ5 Hankel矩阵的特征向量在捕捉系统动态中起什么作用？这与预测误差收敛性有何关联？

主要发现

• 所提出的算法在在线预测中实现了Õ(poly(n,m,d,log T)/√T)的遗憾边界，与最优对称LDS预测器相比近乎最优。
• 在批量学习设置中，该算法提供了Õ(poly(n,m,d,log T,log 1/ε))/√N的样本复杂度边界，确保以高概率将泛化误差控制在ε以内。
• 该方法与条件数无关，即使在||A|| = 1时仍能有效运行，而传统基于回归的方法在这些病态情况下性能会下降。
• 该算法从未显式学习隐藏状态h_t，但仍能实现强大的预测性能。
• 在玩具数据和物理模拟中的实验结果表明，该方法在预测精度方面具有竞争力，更加稳定，且显著快于现有算法。
• 理论分析证实，基于Hankel矩阵特征向量的波形滤波机制，可使滤波向量的ℓ1和ℓ2范数有界，从而实现浓度控制和遗憾控制。