[论文解读] Lyapunov-based Safe Policy Optimization for Continuous Control

Yinlam Chow, Ofir Nachum+3 more|arXiv (Cornell University)|Jan 28, 2019

Reinforcement Learning in Robotics参考文献 30被引用 152

一句话总结

论文为连续控制中的CMDP引入基于Lyapunov的安全策略优化，提供两种可解的途径（theta-projection和a-projection），与标准策略梯度（DDPG、PPO）结合，在训练期间和收敛性方面保证安全，使用数据高效的开/离线数据。

ABSTRACT

We study continuous action reinforcement learning problems in which it is crucial that the agent interacts with the environment only through safe policies, i.e.,~policies that do not take the agent to undesirable situations. We formulate these problems as constrained Markov decision processes (CMDPs) and present safe policy optimization algorithms that are based on a Lyapunov approach to solve them. Our algorithms can use any standard policy gradient (PG) method, such as deep deterministic policy gradient (DDPG) or proximal policy optimization (PPO), to train a neural network policy, while guaranteeing near-constraint satisfaction for every policy update by projecting either the policy parameter or the action onto the set of feasible solutions induced by the state-dependent linearized Lyapunov constraints. Compared to the existing constrained PG algorithms, ours are more data efficient as they are able to utilize both on-policy and off-policy data. Moreover, our action-projection algorithm often leads to less conservative policy updates and allows for natural integration into an end-to-end PG training pipeline. We evaluate our algorithms and compare them with the state-of-the-art baselines on several simulated (MuJoCo) tasks, as well as a real-world indoor robot navigation problem, demonstrating their effectiveness in terms of balancing performance and constraint satisfaction. Videos of the experiments can be found in the following link: https://drive.google.com/file/d/1pzuzFqWIE710bE2U6DmS59AfRzqK2Kek/view?usp=sharing.

研究动机与目标

• 通过受约束的马尔可夫决策过程(CMDPs)来推进对安全至关重要的强化学习在连续控制中的应用。
• 开发基于Lyapunov的策略优化方法，确保在每次策略更新时接近约束满足。
• 使其与标准策略梯度方法（DDPG、PPO）兼容，结合使用on-policy与off-policy数据以提高效率。
• 提供两种可实现的方法（theta-projection和a-projection），以处理无限/连续动作空间及Lyapunov约束。

提出的方法

• 使用状态相关的Lyapunov约束来界定累计约束成本，从而形成安全的CMDP优化。
• 引入两种求解方案：(i) theta-projection，通过投影在Lyapunov约束下优化策略参数；(ii) a-projection，将Lyapunov约束作为将动作投影到可行集的安全层。
• 使用泰勒级数基础的替代项，将无限的Lyapunov约束转化为易处理、可微分的形式，便于梯度更新。
• 利用on-policy（PPO）和off-policy（DDPG）算法以提升数据效率并实现端到端训练。
• 提供与现有安全方法（CPO、Lagrangian）的联系，并展示Lyapunov约束如何与可反向传播的训练集成。
• 在MuJoCo基准测试和一个现实世界的机器人导航任务中演示安全训练和改进的约束满足。

实验结果

研究问题

• RQ1 如何在连续动作空间中求解CMDP，同时在每次策略更新时保证安全？
• RQ2 是否可以将基于Lyapunov的约束与标准PG方法（PPO、DDPG）整合，以实现安全、数据高效的学习？
• RQ3 theta-projection和a-projection是否提供与现有安全强化学习基线（如CPO和拉格朗日方法）相当或更优的实用、可扩展解？
• RQ4 所提出的方法在把安全保障从仿真迁移到现实世界的机器人任务中表现如何？

主要发现

• 基于Lyapunov的PG算法在训练过程中保持约束满足，同时达到有竞争力的性能。
• 与拉格朗日方法和CPO相比，所提出的方法数据高效，能够同时利用on-policy和off-policy数据。
• a-projection安全层通常比theta-projection更快收敛、更新更少保守性，有助于提升学习速度和稳定性。
• 在MuJoCo任务和真实的Fetch机器人上，这些方法在性能与安全之间取得平衡，对新环境具有更好的泛化能力，并能迁移到真实硬件。
• 该框架可以端到端实现并与PPO或DDPG整合，使得训练可反向传播，而无需依赖线搜索或昂贵的回溯。