[论文解读] Hierarchical Potential-based Reward Shaping from Task Specifications

Luigi Berducci, Edgar A. Aguilar+2 more|arXiv (Cornell University)|Oct 6, 2021

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

本文提出分层基于潜在奖励塑形（HPRS），一种从涉及安全性、目标和舒适性要求的形式化任务规范中自动生成多变量、分层奖励函数的方法。通过利用偏序关系和基于潜在的塑形方法，HPRS确保策略最优性并加速学习，在自动驾驶和机器人控制任务中表现出卓越性能，并实现平滑的sim2real迁移。

ABSTRACT

The automatic synthesis of policies for robotic-control tasks through reinforcement learning relies on a reward signal that simultaneously captures many possibly conflicting requirements. In this paper, we in\-tro\-duce a novel, hierarchical, potential-based reward-shaping approach (HPRS) for defining effective, multivariate rewards for a large family of such control tasks. We formalize a task as a partially-ordered set of safety, target, and comfort requirements, and define an automated methodology to enforce a natural order among requirements and shape the associated reward. Building upon potential-based reward shaping, we show that HPRS preserves policy optimality. Our experimental evaluation demonstrates HPRS's superior ability in capturing the intended behavior, resulting in task-satisfying policies with improved comfort, and converging to optimal behavior faster than other state-of-the-art approaches. We demonstrate the practical usability of HPRS on several robotics applications and the smooth sim2real transition on two autonomous-driving scenarios for F1TENTH race cars.

研究动机与目标

• 为解决在复杂机器人任务的强化学习中定义有效、多约束奖励函数的挑战。
• 系统性地将安全性、目标和舒适性要求编码为任务规范中的偏序集合。
• 自动化生成保留策略最优性的奖励信号，同时反映各项要求之间的分层优先级。
• 减少人工奖励工程的工作量，并提升连续控制环境中的收敛速度与策略质量。
• 实现可靠且适用于真实世界机器人的sim2real迁移，特别是在自动驾驶领域。

提出的方法

• 使用表达力强的规范语言，将任务形式化为包含安全性、目标和舒适性约束的偏序集合。
• 通过基于潜在的塑形方法，定义一种分层奖励函数，以自然顺序强制执行各项要求之间的优先级。
• 利用对各项要求的定量评估来计算每一步的时间奖励，避免延迟信用分配问题。
• 将奖励塑形整合进基于潜在的框架中，以保持策略最优性和理论严谨性。
• 应用自动化程序，基于偏序关系和要求评估结果生成最终的奖励信号。
• 将该方法与标准强化学习算法结合，并在基准测试和真实世界的F1TENTH赛车上进行验证。

实验结果

研究问题

• RQ1 分层的、基于潜在的奖励塑形方法是否能有效编码具有冲突要求的复杂多目标机器人控制任务？
• RQ2 与当前最先进方法相比，HPRS在学习速度、策略质量以及任务要求满足度方面表现如何？
• RQ3 HPRS在自动驾驶场景中对策略的sim2real迁移能力改善程度如何？
• RQ4 通过HPRS整合舒适性要求是否能促使真实机器人系统产生更自然、更具可迁移的行为？
• RQ5 HPRS能否在自动从形式化任务规范生成奖励的同时保持策略最优性？

主要发现

• HPRS训练的策略在驾驶任务中对舒适性相关要求的满足率显著提高，如平稳转向与控制：+Comfort条件下满足率为70%，而无+Comfort时仅为32%。
• 在安全驾驶任务中，包含舒适性要求的策略对最大速度约束的满足率达到99%，而无舒适性要求时仅为36%。
• 该方法成功实现了在F1TENTH赛车上的sim2real部署，车辆能够平稳地沿赛道行驶并跟随前导车辆，同时保持安全距离。
• HPRS在学习曲线上表现优于当前最先进方法，收敛至最优行为的速度更快，这在月球着陆器、双足行走者和自动驾驶基准测试中均得到验证。
• 采用HPRS训练的策略在要求满足度上表现出更低的方差，表明其行为更加一致且鲁棒，尤其在复杂驾驶场景中表现突出。
• 在跟随前车任务中，引入舒适性要求使平稳转向的满足率提升23%，平稳控制的满足率提升37%。