[论文解读] Lyapunov Density Models: Constraining Distribution Shift in Learning-Based Control

Katie Kang, Paula Gradu+4 more|arXiv (Cornell University)|Jun 21, 2022

Machine Learning and Algorithms被引用 5

一句话总结

本文提出了李雅普诺夫密度模型（LDMs），这是一种新颖的框架，将密度估计与控制李雅普诺夫函数相结合，以保证基于学习的控制在长时域内保持分布内行为。通过学习一个同时具备数据分布感知与动力学稳定性保障的函数，LDMs 在部署过程中可防止灾难性分布偏移，其性能在近似误差下优于标准密度模型。

ABSTRACT

Learned models and policies can generalize effectively when evaluated within the distribution of the training data, but can produce unpredictable and erroneous outputs on out-of-distribution inputs. In order to avoid distribution shift when deploying learning-based control algorithms, we seek a mechanism to constrain the agent to states and actions that resemble those that it was trained on. In control theory, Lyapunov stability and control-invariant sets allow us to make guarantees about controllers that stabilize the system around specific states, while in machine learning, density models allow us to estimate the training data distribution. Can we combine these two concepts, producing learning-based control algorithms that constrain the system to in-distribution states using only in-distribution actions? In this work, we propose to do this by combining concepts from Lyapunov stability and density estimation, introducing Lyapunov density models: a generalization of control Lyapunov functions and density models that provides guarantees on an agent's ability to stay in-distribution over its entire trajectory.

研究动机与目标

• 解决基于学习的控制中分布偏移的关键挑战，即模型在分布外输入下失效的问题。
• 开发一种方法，确保在整个轨迹上保持分布内行为，而不仅仅是下一步。
• 将密度模型的数据感知能力与李雅普诺夫函数的动力学感知能力相结合，实现稳定可靠的控制。
• 为学习和近似误差下的分布保持提供理论保证。
• 通过将数据驱动控制器限制在训练分布的状态和动作上，实现其在真实系统中的安全部署。

提出的方法

• 提出李雅普诺夫密度模型（LDMs）作为控制李雅普诺夫函数与密度模型的推广，其中LDM函数将状态-动作对映射为一个必须随时间减小的标量。
• 定义LDMs的贝尔曼备份算子，同时结合即时数据密度与所有动作中未来LDM值的最小值，以确保长时域的分布内行为。
• 使用基于样本的贝尔曼更新在状态-动作-观测转换的数据集上学习LDM，最小化当前估计与经验备份之间的残差。
• 通过建模期望的观测转换动力学，并在观测不确定性下使用贝尔曼算子的经验估计，将该框架扩展至部分可观测场景。
• 将学习到的LDM用作基于模型强化学习中的约束，对导致训练分布中低概率状态或动作的行为施加惩罚。
• 提供理论收敛保证，表明LDM学习过程收敛至不动点，且误差界取决于经验贝尔曼更新的质量和观测方差。

实验结果

研究问题

• RQ1 我们能否设计一种基于学习的控制框架，确保在长轨迹上保持分布内行为，而不仅仅是下一步？
• RQ2 如何结合密度估计与李雅普诺夫稳定性的优势，构建统一的分布感知控制机制？
• RQ3 在近似误差和部分可观测性下，此类联合模型的收敛性与鲁棒性可提供何种理论保证？
• RQ4 在模型误差存在的情况下，使用LDM是否相比标准密度模型能提升性能与可靠性？
• RQ5 在真实状态无法完全获取的局部可观测系统中，LDM框架如何适应？

主要发现

• LDM框架通过强制一个兼具数据感知与动力学感知的类似李雅普诺夫函数递减，确保系统在无限时域内保持分布内行为。
• 理论分析表明，LDM学习算法具有收敛性，其误差界取决于经验贝尔曼更新的质量和观测转换的方差。
• 在部分可观测场景中，由于观测不确定性，LDM保证中包含一个额外的误差项，但该误差项随观测质量提高而消失。
• 实验评估表明，将LDMs作为基于模型强化学习中的约束，相比仅使用密度模型，能显著提升鲁棒性与性能。
• 即使在近似误差存在的情况下，由于其内在的稳定性与长时域保证，LDM框架仍优于标准密度模型。
• 该方法在完全可观测与部分可观测场景中均有效，收敛速率取决于经验贝尔曼算子估计的准确性。