[论文解读] Elements of Effective Deep Reinforcement Learning towards Tactical Driving Decision Making

Jingchu Liu, Pengfei Hou+3 more|arXiv (Cornell University)|Feb 1, 2018

Autonomous Vehicle Technology and Safety参考文献 19被引用 15

一句话总结

本文针对战术性驾驶决策中的深度强化学习提出了三项实用改进：基于语义稳定性的非均匀动作跳过以实现稳定的高层控制，基于计数器的车道惩罚以促进安全变道，以及推理阶段的启发式动作掩码以过滤不安全动作。在真实模拟器中评估表明，该方法在基线方法基础上显著提升了安全性、效率和舒适性。

ABSTRACT

Tactical driving decision making is crucial for autonomous driving systems and has attracted considerable interest in recent years. In this paper, we propose several practical components that can speed up deep reinforcement learning algorithms towards tactical decision making tasks: 1) non-uniform action skipping as a more stable alternative to action-repetition frame skipping, 2) a counter-based penalty for lanes on which ego vehicle has less right-of-road, and 3) heuristic inference-time action masking for apparently undesirable actions. We evaluate the proposed components in a realistic driving simulator and compare them with several baselines. Results show that the proposed scheme provides superior performance in terms of safety, efficiency, and comfort.

研究动机与目标

• 为解决标准深度强化学习技术（尤其是动作重复）在高层战术性驾驶决策中的不稳定性与低效性问题。
• 减少对冗余或误导性奖励信号（如全局目标指示和密集局部惩罚）的依赖。
• 通过集成启发式规则过滤明显不安全的动作，提升推理阶段的可靠性。
• 开发对现有深度强化学习框架修改极少但能显著提升在复杂多车道交通场景下性能的组件。

提出的方法

• 非均匀动作跳过通过基于语义稳定性选择性跳过动作，替代动作重复，从而减少高层决策语义的不连续性。
• 引入基于计数器的惩罚机制，针对本车路权较小的车道，动态追踪随时间累积的风险暴露，以促进更安全的变道行为。
• 在推理阶段应用基于启发式规则的动作掩码，根据环境上下文排除如不安全变道或驶入对向车流等动作。
• 将这些组件整合进一个分层自动驾驶系统中，其中深度强化学习智能体负责战术决策，而路径规划、运动规划与控制则采用非学习模块以保障安全与舒适。
• 奖励函数被精心设计，排除了全局目标指示和密集局部惩罚，转而依赖约束违规情况与基于计数器的风险信号。
• 系统在具备复杂场景（如双向交通与信号灯控制路口）的真实驾驶模拟器中进行评估。

实验结果

研究问题

• RQ1 非均匀动作跳过与动作重复相比，在战术性驾驶决策中的稳定性与性能表现如何？
• RQ2 基于计数器的车道惩罚是否能有效引导智能体实现更安全的变道行为，而无需依赖密集或全局奖励信号？
• RQ3 启发式动作掩码规则在多大程度上提升了推理阶段的安全性与智能体整体性能？
• RQ4 移除全局目标指示与密集局部奖励是否能带来更鲁棒、更高效的复杂交通环境学习？
• RQ5 这些组件能否在对现有深度强化学习流水线改动极小的前提下，有效组合成模块化框架？

主要发现

• 与动作重复相比，非均匀动作跳过显著提升了成功率并降低了不稳定性，尤其在语义不连续的高层决策任务中表现更优。
• 基于计数器的车道惩罚优于恒定惩罚与密集局部惩罚，在多车道场景中实现了更优的安全性与效率权衡。
• 启发式动作掩码通过过滤明显不安全的动作提升了成功率，更严格的规则可带来更大的安全增益，但略微降低了行驶速度。
• 实验表明，全局目标指示与密集局部惩罚是冗余且有害的，使用它们会降低成功率与纵向速度。
• 将非均匀动作跳过与动作掩码结合可获得最高成功率，表明在复杂驾驶环境中存在协同增益效应。