[论文解读] Almost Surely Stable Deep Dynamics

Nathan P. Lawrence, Philip D. Loewen+3 more|arXiv (Cornell University)|Mar 26, 2021

Computer Graphics and Visualization Techniques参考文献 39被引用 8

一句话总结

本文提出一种方法，通过将李雅普诺夫神经网络（LNN）嵌入模型架构中，实现基于深度神经网络的动态模型在训练过程中具有可证明的几乎必然稳定行为。该方法提出两种途径——利用李雅普诺夫函数的凸性，以及使用隐式输出层——以在确定性和随机离散时间系统中强制实现稳定性，确保在理论保证下全局渐近稳定几乎必然成立。

ABSTRACT

We introduce a method for learning provably stable deep neural network based dynamic models from observed data. Specifically, we consider discrete-time stochastic dynamic models, as they are of particular interest in practical applications such as estimation and control. However, these aspects exacerbate the challenge of guaranteeing stability. Our method works by embedding a Lyapunov neural network into the dynamic model, thereby inherently satisfying the stability criterion. To this end, we propose two approaches and apply them in both the deterministic and stochastic settings: one exploits convexity of the Lyapunov function, while the other enforces stability through an implicit output layer. We demonstrate the utility of each approach through numerical examples.

研究动机与目标

• 为解决在数据驱动的基于深度神经网络（DNN）的动态模型中确保稳定性的问题，特别是在随机和离散时间设置下。
• 克服黑箱DNN在安全性至关重要的应用中难以在训练后验证稳定性的局限性。
• 开发一种框架，通过李雅普诺夫函数将稳定性内嵌于模型架构中，而非在事后进行验证。
• 通过马尔可夫过程和矩条件，将可证明的稳定性保证从确定性系统扩展到随机动态系统。
• 提供一种实用、可训练且可解释的方法，用于构建适用于控制和估计的稳定DNN基动态模型。

提出的方法

• 将基于神经网络的李雅普诺夫函数 $ V $ 嵌入动态模型中，通过充分条件 $ \mathbb{E}[V(\bm{x}_{t+1}) \mid \bm{x}_t] - V(\bm{x}_t) \leq -\alpha V(\bm{x}_t) $ 几乎必然成立来强制实现稳定性，其中 $ \alpha > 0 $。
• 对于基于凸性的方法，通过约束反向传播强制李雅普诺夫函数的凸性，以实现闭式优化和稳定训练。
• 对于隐式方法，将下一状态隐式定义为求解一维根查找问题的解，以确保李雅普诺夫函数递减条件成立。
• 对状态过程施加马尔可夫假设，以应用随机李雅普诺夫定理，并从 $ V $ 的期望递减推导出几乎必然渐近稳定性。
• 通过使用混合密度网络（MDN）建模转移分布，将框架扩展至随机系统，并强制满足 $ V(\bm{\mu}_{t+1}) \leq \beta V(\bm{x}_t) $，其中 $ \beta < 1 $，以确保稳定性。
• 使用观测到的状态转移 $ (\bm{x}_t, \bm{x}_{t+1}) $ 端到端训练模型，李雅普诺夫函数与模型联合训练以满足稳定性条件。

实验结果

研究问题

• RQ1 我们能否在离散时间随机系统中训练出具有可证明的几乎必然稳定行为的基于深度神经网络的动态模型？
• RQ2 如何将李雅普诺夫函数嵌入DNN架构中，使得稳定性由构造保证，而非在事后验证？
• RQ3 在确定性和随机设置下，有哪些有效且计算高效的手段可强制实现李雅普诺夫递减条件？
• RQ4 能否利用李雅普诺夫函数的凸性，实现深度动态模型的闭式、稳定训练？
• RQ5 在复杂非线性系统中，隐式输出层方法与基于凸性的训练相比，在稳定性与精度方面表现如何？

主要发现

• 基于凸性的方法在确定性系统中成功生成了稳定模型，但在高曲率或剧烈波动区域可能偏离真实轨迹。
• 在状态空间复杂且波动剧烈的区域，隐式输出层方法优于基于凸性的模型，能更紧密地跟踪真实轨迹。
• 在随机系统中，基于MDN的模型嵌入李雅普诺夫函数后，即使在部分轨迹上进行训练，仍能保持几乎必然稳定的动态行为，其稳定性和样本路径精度优于标准MDN。
• 在20条未见轨迹上，稳定模型的负对数似然（NLL）性能保持较低水平，表明其在概率建模与稳定性之间实现了良好权衡。
• 理论分析证实，若期望李雅普诺夫递减条件成立且 $ \alpha > 0 $，则原点几乎必然全局指数稳定。
• 该框架可扩展至控制与强化学习，具有在工业应用中实现安全、可解释且稳定的自主系统应用的潜力。