[论文解读] Constrained Reinforcement Learning for Robotics via Scenario-Based Programming

Davide Corsi, Raz Yerushalmi+4 more|arXiv (Cornell University)|Jun 20, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了一种新颖的约束强化学习框架，通过场景编程（SBP）将领域专家知识整合到深度强化学习中，实现了安全、高性能的机器人策略。通过将安全和行为约束编码为人类可读的场景，并与拉格朗日-PPO结合，该方法在无地图导航任务中显著减少了规则违反行为并提升了成功率，形式化验证确认了安全属性。

ABSTRACT

Deep reinforcement learning (DRL) has achieved groundbreaking successes in a wide variety of robotic applications. A natural consequence is the adoption of this paradigm for safety-critical tasks, where human safety and expensive hardware can be involved. In this context, it is crucial to optimize the performance of DRL-based agents while providing guarantees about their behavior. This paper presents a novel technique for incorporating domain-expert knowledge into a constrained DRL training loop. Our technique exploits the scenario-based programming paradigm, which is designed to allow specifying such knowledge in a simple and intuitive way. We validated our method on the popular robotic mapless navigation problem, in simulation, and on the actual platform. Our experiments demonstrate that using our approach to leverage expert knowledge dramatically improves the safety and the performance of the agent.

研究动机与目标

• 为解决在机器人深度强化学习中缺乏直观、人类可读的安全与行为约束编码方法的问题。
• 提升基于DRL的机器人策略在自动驾驶导航等安全关键环境中的可靠性与安全性。
• 通过场景编程（SBP）将专家知识直接集成到训练循环中，以增强可解释性与控制能力。
• 实现对训练策略的安全属性的形式化验证，确保其在真实系统中的可部署性。
• 在仿真和真实世界的无地图导航任务中，于真实机器人平台（Turtlebot3）上验证该方法的有效性。

提出的方法

• 该方法将拉格朗日-PPO扩展至支持场景编程（SBP），以人类可读的场景形式编码安全与行为约束。
• 每个场景定义一种期望行为或禁止行为（例如，避免来回旋转、保持前进进度），并被转换为约束DRL的成本函数。
• SBP框架支持多个约束的组合与并行执行，确保系统行为的一致性。
• 该方法采用拉格朗日乘子法平衡主奖励目标与约束成本，并实现乘子的自动调节。
• 该方法利用深度神经网络验证技术，支持对训练策略进行形式化验证。
• 该框架在仿真环境和硬件平台上的Robotis Turtlebot3平台的无地图导航任务中进行了评估。

实验结果

研究问题

• RQ1 场景编程能否有效用于以人类可读方式编码复杂的安全与行为约束，以支持DRL训练？
• RQ2 将SBP与约束DRL结合是否能相比标准DRL或基于惩罚的方法，显著提升机器人智能体的安全性与性能？
• RQ3 所提出的方法能否在复杂真实环境中生成可形式化验证安全属性的策略？
• RQ4 随着约束数量的增加，该方法的可扩展性如何？其在训练稳定性与性能方面存在何种权衡？
• RQ5 在不损害主任务性能的前提下，专家知识能在多大程度上被注入DRL训练循环？

主要发现

• 所提方法在仿真环境和真实Turtlebot3平台上的无地图导航任务中均实现了100%的成功率，显著优于标准拉格朗日-PPO和先前基于惩罚的方法。
• 与Yerushalmi等人[64]的基线方法相比，该方法将安全规则违规（如来回旋转）减少了90%以上，且无需手动调节惩罚系数。
• 形式化验证确认所有训练策略均满足预设安全属性，且在给定约束下100%的测试模型均通过了形式化安全验证。
• 该方法在不同环境和约束集合下表现出强鲁棒性，即使在引入多个约束时仍保持高性能。
• 该方法通过将约束直接嵌入SBP框架，消除了对人工惩罚系数调优的依赖，解决了现有约束DRL方法中的主要局限。
• SBP与拉格朗日-PPO的集成实现了可扩展且可解释的约束定义方式，使得逐步添加新行为规则成为可能。