[论文解读] Safe Reinforcement Learning of Control-Affine Systems with Vertex Networks

Liyuan Zheng, Yuanyuan Shi+2 more|arXiv (Cornell University)|Mar 20, 2020

Extremum Seeking Control Systems被引用 15

一句话总结

本文提出顶点网络（Vertex Networks, VNs），一种新型神经网络架构，通过将状态和动作约束直接编码到策略网络中，利用安全区域顶点的凸组合，确保在控制仿射系统中的安全性。通过将动作构造为预计算的安全区域顶点的凸组合，VNs 在训练和推理过程中均无需在线优化即可保证约束满足，其在基准任务中的表现优于基于惩罚的安全方法。

ABSTRACT

This paper focuses on finding reinforcement learning policies for control systems with hard state and action constraints. Despite its success in many domains, reinforcement learning is challenging to apply to problems with hard constraints, especially if both the state variables and actions are constrained. Previous works seeking to ensure constraint satisfaction, or safety, have focused on adding a projection step to a learned policy. Yet, this approach requires solving an optimization problem at every policy execution step, which can lead to significant computational costs. To tackle this problem, this paper proposes a new approach, termed Vertex Networks (VNs), with guarantees on safety during exploration and on learned control policies by incorporating the safety constraints into the policy network architecture. Leveraging the geometric property that all points within a convex set can be represented as the convex combination of its vertices, the proposed algorithm first learns the convex combination weights and then uses these weights along with the pre-calculated vertices to output an action. The output action is guaranteed to be safe by construction. Numerical examples illustrate that the proposed VN algorithm outperforms vanilla reinforcement learning in a variety of benchmark control tasks.

研究动机与目标

• 解决在控制系统中对硬性状态和动作约束下训练强化学习策略的挑战。
• 克服基于在线投影的安全方法带来的计算负担，这些方法需在每个推理步骤中求解优化问题。
• 开发一种安全探索框架，确保在每个训练和部署步骤中均满足约束，而不仅是在期望意义上。
• 设计一种神经网络架构，通过凸集的几何特性，使网络本身天然尊重安全约束。
• 在具有严格安全要求的连续控制基准任务中，证明所提方法的有效性。

提出的方法

• 将安全区域（一个凸多面体）表示为其顶点的凸包，利用凸集中任意点均可表示为顶点凸组合的事实。
• 设计一个策略网络，为每个时间步的安全区域顶点输出凸组合权重（即系数）。
• 利用学习到的权重和预计算的顶点，计算最终动作作为凸组合，从而通过构造保证动作位于安全区域内。
• 将顶点网络集成到标准策略优化框架（如DDPG或PPO）中，实现端到端训练，并保证安全性。
• 在每个时间步在线计算安全状态区域与执行器约束集交集的顶点，以适应变化的约束。
• 通过将安全性编码到网络架构中，避免在线优化，消除推理过程中对投影步骤的需求。

实验结果

研究问题

• RQ1 能否设计一种神经网络架构，以在强化学习的探索和部署过程中均保证约束满足？
• RQ2 与基于惩罚或投影的方法相比，将安全约束直接嵌入策略网络架构，在安全性与样本效率方面有何差异？
• RQ3 在具有硬约束的高维控制任务中，使用基于顶点的凸组合进行动作生成对性能有何影响？
• RQ4 当环境动力学复杂或约束随时间变化时，该方法是否仍能保持安全性？
• RQ5 当顶点数量增加时，该方法在高维状态和动作空间系统中的可扩展性如何，特别是当顶点数量增长时？

主要发现

• 顶点网络（VNs）在训练和推理过程中均实现了完美的约束满足，所有基准任务中均未观察到任何约束违反。
• 在质量-弹簧系统中，VN优于采用基于惩罚的安全方法的标准策略网络（PN），在训练早期即获得更高的累积奖励，并在整个训练过程中保持安全。
• 在飞行器任务中，VN在严格倾斜角约束（$\bar{\theta} = 0.01$）下成功导航至目标并保持安全，而PN策略尽管在奖励函数中加入了惩罚，仍违反约束并达到较大的倾斜角度。
• 轨迹可视化显示，VN策略生成更平滑、更安全的机动动作，而PN策略即使经过大量训练仍表现出不安全行为。
• 该方法在不同约束边界下表现出鲁棒性，即使在严格限制下也能持续保持安全。
• VN的计算成本显著低于基于投影的方法，因其在推理时避免了解决优化问题。