[论文解读] Memory-Efficient Learning of Stable Linear Dynamical Systems for Prediction and Control

Giorgos Mamakoukas, Orest Xherija+1 more|arXiv (Cornell University)|Jun 6, 2020

Model Reduction and Neural Networks参考文献 36被引用 10

一句话总结

该论文提出了一种内存高效的基于梯度的算法，用于学习稳定的线性动态系统（LDS），通过利用最近提出的稳定矩阵表征，在每次优化步骤中强制实现稳定性。通过联合更新状态矩阵和控制矩阵，该方法在重建误差方面实现了数量级的降低，并在控制性能上优于当前最先进的方法，同时保持 O(n²) 的空间复杂度——可有效扩展至高维系统，如机械臂和视频序列。

ABSTRACT

Learning a stable Linear Dynamical System (LDS) from data involves creating models that both minimize reconstruction error and enforce stability of the learned representation. We propose a novel algorithm for learning stable LDSs. Using a recent characterization of stable matrices, we present an optimization method that ensures stability at every step and iteratively improves the reconstruction error using gradient directions derived in this paper. When applied to LDSs with inputs, our approach---in contrast to current methods for learning stable LDSs---updates both the state and control matrices, expanding the solution space and allowing for models with lower reconstruction error. We apply our algorithm in simulations and experiments to a variety of problems, including learning dynamic textures from image sequences and controlling a robotic manipulator. Compared to existing approaches, our proposed method achieves an orders-of-magnitude improvement in reconstruction error and superior results in terms of control performance. In addition, it is provably more memory-efficient, with an O(n^2) space complexity compared to O(n^4) of competing alternatives, thus scaling to higher-dimensional systems when the other methods fail.

研究动机与目标

• 解决在控制和预测任务中对稳定、数据驱动的线性动态系统的关键需求，特别是在安全关键型机器人和视觉应用中。
• 克服现有方法的局限性：这些方法或因高内存复杂度（O(n⁴)）而无法扩展，或未联合优化状态矩阵和控制矩阵。
• 通过确保从第一次优化步骤起即保持稳定性，实现稳定 LDS 模型的在线和实时学习，这对时间敏感和安全关键型系统至关重要。
• 通过联合优化状态矩阵和控制矩阵扩展解空间，从而提高模型保真度和控制性能。
• 在高维系统（包括动态纹理建模和机器人控制）上验证该方法的有效性，这些系统中先前的方法因内存或稳定性约束而失效。

提出的方法

• 利用最近提出的稳定矩阵表征（基于李雅普诺夫方程）定义稳定系统矩阵的可行集，从而实现基于投影的优化。
• 基于投影梯度下降框架，推导出状态矩阵 A 和控制矩阵 B 的闭式梯度方向，确保每一步迭代中均保持稳定性。
• 采用投影优化方案，其中每个更新步骤都将当前估计投影到稳定矩阵集合上，从而在整个训练过程中保持稳定性。
• 使用最小二乘目标函数最小化重建误差，并在稳定性约束下通过矩阵微积分计算梯度。
• 采用快速梯度方法并结合高效的海森矩阵近似，以降低计算开销，从而实现高维系统的可扩展性。
• 通过推导 A 和 B 的联合梯度，将方法扩展至输入仿射 LDS，从而相比固定 B 或仅优化 A 的方法，能够更好地表示控制动力学。

实验结果

研究问题

• RQ1 能否从数据中学习到稳定线性动态系统，且其内存复杂度相比现有方法有可证明的降低？
• RQ2 与仅优化状态矩阵的方法相比，联合优化状态矩阵和控制矩阵是否能显著降低重建误差并提升控制性能？
• RQ3 基于梯度的方法是否能在每次优化步骤中强制实现稳定性，从而在在线学习设置中实现更快收敛和更早达到稳定状态？
• RQ4 与最先进的稳定 LDS 学习算法相比，该方法在真实世界控制任务（如机器人操作）中的表现如何？
• RQ5 该方法是否能扩展至高维系统（如视频序列、机械臂），而现有 O(n⁴) 方法因内存限制而失效？

主要发现

• 在基准动态纹理数据集上，该方法的重建误差相比当前性能最佳的方法（CG 和 WLS）实现了数量级的降低。
• 在机器人控制任务中，该方法在 50 次试验中的平均跟踪误差为 0.0799，优于 WLS（38.73）和 LS（7556），CG 的得分则为 0.0810，表明性能几乎完全一致。
• 该方法在低资源环境下表现出鲁棒性，即使在训练数据有限（例如 Franka Panda 机械臂仅 600 个测量值）的情况下仍能保持高性能。
• 该算法在理论上具有更高的内存效率，空间复杂度为 O(n²)，相比竞争方法的 O(n⁴)，从而可扩展至高维系统。
• 仿真结果在 Franka Emika Panda 机械臂上通过实验得到验证，表明仿真中的控制性能能准确预测真实世界行为。
• 该方法是首个成功在稳定 LDS 模型上评估控制性能的工作，证明了稳定性与保真度的结合对于可靠控制至关重要。