[论文解读] Accelerating Safe Reinforcement Learning with Constraint-mismatched Policies

Tsung-Yen Yang, Justinian Rosca+2 more|arXiv (Cornell University)|Jun 20, 2020

Reinforcement Learning in Robotics参考文献 49被引用 4

一句话总结

本文提出 SPACE，一种安全强化学习算法，通过迭代优化任务奖励、保持与基线策略的接近度，并将策略投影到满足约束的策略集合中，从而加速从次优或违反约束的基线策略中学习。该方法在五个控制任务（包括安全与公平约束）中，平均回报提升 40%，约束违规次数减少 10 倍，优于当前最先进基线方法。

ABSTRACT

We consider the problem of reinforcement learning when provided with (1) a baseline control policy and (2) a set of constraints that the learner must satisfy. The baseline policy can arise from demonstration data or a teacher agent and may provide useful cues for learning, but it might also be sub-optimal for the task at hand, and is not guaranteed to satisfy the specified constraints, which might encode safety, fairness or other application-specific requirements. In order to safely learn from baseline policies, we propose an iterative policy optimization algorithm that alternates between maximizing expected return on the task, minimizing distance to the baseline policy, and projecting the policy onto the constraint-satisfying set. We analyze our algorithm theoretically and provide a finite-time convergence guarantee. In our experiments on five different control tasks, our algorithm consistently outperforms several state-of-the-art baselines, achieving 10 times fewer constraint violations and 40% higher reward on average.

研究动机与目标

• 解决从可能违反安全、公平或特定应用约束的基线策略中安全学习的挑战。
• 通过利用专家或演示策略，提升强化学习中的样本效率与约束满足度，且无需这些策略本身满足约束条件。
• 开发一种方法，确保在每次学习迭代中均满足约束，同时支持有效的探索与适应。
• 在合理假设下，为所提算法提供有限时间收敛保证。
• 在多样化任务（包括机器人控制与交通管理）上进行实证验证，兼顾实际应用场景。

提出的方法

• 该算法执行三个迭代步骤：(1) 信任区域策略优化以最大化期望回报，(2) 在策略空间中投影以控制与基线策略的距离，(3) 投影到可行约束集合以确保安全性。
• 通过动态阈值 $ h_D^k $ 自适应控制与基线策略的距离，实现灵活探索，同时避免过度依赖可能次优的基线策略。
• 采用信任区域方法（如 TRPO）确保策略更新稳定，防止优化过程中发生灾难性策略漂移。
• 约束投影步骤确保每次迭代中所有生成策略均满足给定的安全或公平约束，从而保障可行性。
• 该方法避免依赖对基线策略的成本函数学习，降低计算开销，支持直接使用演示数据。
• 该算法经过理论分析，证明在标准假设下可实现有限时间收敛，收敛性保证源于信任区域、距离控制与约束投影的协同作用。

实验结果

研究问题

• RQ1 强化学习智能体能否在仍提升任务性能的同时，从违反期望约束的基线策略中安全学习？
• RQ2 动态调整与基线策略的距离如何影响约束满足度与学习效率？
• RQ3 所提方法在样本效率与约束违规率方面是否优于现有安全强化学习算法？
• RQ4 该算法能否在不同类型约束（如机器人控制中的安全性与交通管理中的公平性）的多样化任务中实现泛化？
• RQ5 初始距离阈值 $ h_D^0 $ 对最终策略性能与约束合规性有何影响？

主要发现

• SPACE 在五个控制任务（包括 MuJoCo 环境与真实世界交通管理仿真）中，平均回报相比最先进基线方法提升 40%。
• 该算法平均将约束违规次数减少 10 倍，展现出强大的安全保证能力。
• 在使用人类演示数据的赛车任务中，即使基线人类策略违反成本约束，SPACE 仍成功学习到安全策略。
• 初始值 $ h_D^0 $ 对性能影响极小，表明对超参数选择具有鲁棒性。
• 实证结果表明，在五次运行中性能提升稳定，标准差已报告，证实了方法的可靠性与可复现性。
• 该方法展示了有限时间收敛性，为实际部署提供了理论保障。