[论文解读] Learning of Linear Dynamical Systems as a Non-Commutative Polynomial Optimization Problem

Quan Zhou, Jakub Mareček|arXiv (Cornell University)|Feb 4, 2020

Control Systems and Identification参考文献 80被引用 8

一句话总结

该论文将未知隐藏状态维度的线性动态系统（LDS）学习问题形式化为非交换多项式优化问题（NCPOP），利用NPA层级凸松弛方法实现系统矩阵的全局收敛估计。与Matlab的系统辨识工具箱相比，该方法在波动性时间序列中表现出更优的预测性能，运行时间与隐藏状态维度无关，并通过稀疏性利用提升了可扩展性。

ABSTRACT

There has been much recent progress in forecasting the next observation of a linear dynamical system (LDS), which is known as the improper learning, as well as in the estimation of its system matrices, which is known as the proper learning of LDS. We present an approach to proper learning of LDS, which in spite of the non-convexity of the problem, guarantees global convergence of numerical solutions to a least-squares estimator. We present promising computational results.

研究动机与目标

• 解决未知隐藏状态维度下线性动态系统（LDS）学习及非凸、非交换系统矩阵估计的挑战。
• 开发一种全局收敛方法，实现LDS的正确学习，同时估计系统矩阵与隐藏状态维度。
• 通过NCPOP框架自然融入先验形状约束。
• 利用凸松弛方法实现运行时间与未知隐藏状态维度的独立性。
• 相比标准子空间法与最小二乘法，提升波动性时间序列中的预测准确率与鲁棒性。

提出的方法

• 将LDS学习形式化为非交换多项式优化问题（NCPOP），将系统矩阵与噪声协方差视为非交换变量。
• 应用Navascués-Pironio-Acin（NPA）层级凸松弛方法，生成NCPOP的渐近收敛边界。
• 使用源自NPA层级的半定规划（SDP）松弛方法求解非凸算子值问题。
• 采用NPA层级的稀疏性利用变体（如TSSOS）以降低计算成本并提升可扩展性。
• 使用ncpol2sdpa与mosek实现SDP求解，采用阶数$k=1$或$k=2$的矩。
• 在估计隐藏状态动力学时从公式中移除$F'$，专注于从观测中学习系统矩阵。

实验结果

研究问题

• RQ1 未知隐藏状态维度的LDS学习能否被形式化为非交换多项式优化问题？
• RQ2 NPA层级凸松弛方法能否在不依赖隐藏状态维度先验知识的前提下，实现LDS系统矩阵的全局收敛估计？
• RQ3 在波动性时间序列中，所提出的基于NCPOP的方法与标准子空间法及最小二乘法相比，预测准确率如何？
• RQ4 在利用稀疏性的情况下，该方法在时间窗长度与矩阶数方面的计算可扩展性如何？
• RQ5 能否自然地将先验结构信息（如形状约束）融入学习框架？

主要发现

• 所提出的基于NCPOP的方法在股票市场数据上的预测准确率优于Matlab的系统辨识工具箱，尤其在高波动时期表现更优。
• NPA层级为LDS学习问题提供了全局收敛边界，且运行时间与未知隐藏状态维度无关。
• 由于有效利用了稀疏性，非交换TSSOS层级相比普通NPA层级在时间窗长度增长时表现出更慢的运行时间增长。
• NPA SDP松弛中的稀疏性显著（例如，非零系数比例较高），使得TSSOS能够通过稀疏性加速求解。
• 在矩阶数$k=1$时，该方法在多个股票价格预测任务中均实现了低于基线最小二乘法的归一化均方根误差（nrmse）。
• 该方法在预测中表现出鲁棒性，即使真实系统动力学不稳定或非平稳，也能保持较高准确性。