[论文解读] Autonomous Driving using Safe Reinforcement Learning by Incorporating a Regret-based Human Lane-Changing Decision Model

Dong Chen, Longsheng Jiang+2 more|arXiv (Cornell University)|Oct 10, 2019

Autonomous Vehicle Technology and Safety参考文献 24被引用 5

一句话总结

该论文通过在训练过程中整合基于后悔的驾驶员变道决策模型，提出了一种用于自动驾驶汽车的安全强化学习框架。通过运用行为经济学原理预测人类驾驶员的行为，该方法使安全监管模块能够约束不安全动作，在训练过程中实现零碰撞，同时相比标准DDQN，保持了更高的学习效率和策略性能。

ABSTRACT

It is expected that many human drivers will still prefer to drive themselves even if the self-driving technologies are ready. Therefore, human-driven vehicles and autonomous vehicles (AVs) will coexist in a mixed traffic for a long time. To enable AVs to safely and efficiently maneuver in this mixed traffic, it is critical that the AVs can understand how humans cope with risks and make driving-related decisions. On the other hand, the driving environment is highly dynamic and ever-changing, and it is thus difficult to enumerate all the scenarios and hard-code the controllers. To face up these challenges, in this work, we incorporate a human decision-making model in reinforcement learning to control AVs for safe and efficient operations. Specifically, we adapt regret theory to describe a human driver's lane-changing behavior, and fit the personalized models to individual drivers for predicting their lane-changing decisions. The predicted decisions are incorporated in the safety constraints for reinforcement learning in training and in implementation. We then use an extended version of double deep Q-network (DDQN) to train our AV controller within the safety set. By doing so, the amount of collisions in training is reduced to zero, while the training accuracy is not impinged.

研究动机与目标

• 解决在有人类驾驶车辆混合交通环境中训练安全且高效的自动驾驶车辆策略的挑战。
• 利用后悔理论建模人类驾驶员的变道行为，捕捉预期后悔和概率加权等心理因素。
• 开发一种安全监管模块，利用预测的人类决策来约束强化学习中的不安全动作。
• 确保训练和实施基于强化学习的自动驾驶车辆策略时无碰撞发生。

提出的方法

• 开发了一种基于后悔的决策模型，用于预测个体人类驾驶员的变道行为，整合了预期后悔、概率加权和范围效应等心理效应。
• 利用真实驾驶数据对模型进行个性化处理，将抽象的风险术语转化为速度和距离等物理度量。
• 采用扩展的双深度Q网络（DDQN）训练自动驾驶车辆的决策策略，通过经验回放和目标网络提升稳定性。
• 安全监管模块利用人类决策模型的预测结果监控动作，并将任何可能导致碰撞的动作替换为安全替代动作。
• 该框架采用分层结构，强化学习智能体在由安全监管模块定义的约束动作空间内进行学习。
• 在CARLA中进行仿真，车辆动力学采用欧拉积分方法建模，奖励函数包含安全、速度和舒适度的加权项。

实验结果

研究问题

• RQ1 如何在自动驾驶场景中，利用行为经济学原理（如后悔理论）准确建模人类驾驶员的变道决策？
• RQ2 基于后悔的人类决策模型在多大程度上能提升基于强化学习的自动驾驶车辆控制的安全性和稳定性？
• RQ3 利用预测的人类行为的安全监管模块是否能在不降低学习性能的前提下减少强化学习训练过程中的碰撞？
• RQ4 人类行为建模的集成如何影响训练后强化学习策略的收敛性和鲁棒性？

主要发现

• SafeRL框架在训练过程中实现了零碰撞，而与之对比的标准DDQN基线方法（ConvRL）有8.6%的训练周期以碰撞结束。
• 尽管由于安全约束导致探索空间减小，SafeRL仍收敛到与ConvRL性能相当的策略，表明约束被有效利用。
• SafeRL的学习曲线更加平滑和稳定，收敛后无性能波动，而ConvRL因残余碰撞导致收敛后出现较大波动。
• 安全监管模块通过利用基于后悔的人类决策模型的预测，成功防止了不安全动作，确保了无碰撞运行。
• 所提方法保持了高训练效率和策略性能，表明安全约束不会阻碍学习精度或速度。