[论文解读] Lane Change Decision-Making through Deep Reinforcement Learning

Mukesh Ghimire, Malobika Roy Choudhury+1 more|arXiv (Cornell University)|Dec 24, 2021

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

本文提出一种基于规则的深度Q网络（DQN），用于动态交通中的自主变道决策，结合深度强化学习与安全约束。该方法实现了0.8的安全率和47英里每小时的平均速度，通过减少不必要的变道行为并提升碰撞规避能力，优于标准DQN。

ABSTRACT

Due to the complexity and volatility of the traffic environment, decision-making in autonomous driving is a significantly hard problem. In this project, we use a Deep Q-Network, along with rule-based constraints to make lane-changing decision. A safe and efficient lane change behavior may be obtained by combining high-level lateral decision-making with low-level rule-based trajectory monitoring. The agent is anticipated to perform appropriate lane-change maneuvers in a real-world-like udacity simulator after training it for a total of 100 episodes. The results shows that the rule-based DQN performs better than the DQN method. The rule-based DQN achieves a safety rate of 0.8 and average speed of 47 MPH

研究动机与目标

• 开发一种在复杂动态交通条件下具备鲁棒性的自动驾驶车辆变道决策系统。
• 通过将基于规则的约束与深度Q学习相结合，提升变道行为的安全性与效率。
• 在仿真环境中复现并验证先前基于DQN的变道研究结果。
• 评估基于规则的约束对DQN性能在安全性、速度和变道频率方面的影响。

提出的方法

• 该方法采用通过强化学习训练的深度Q网络（DQN），以学习最优变道策略。
• 通过集成基于规则的约束来强制执行安全要求，例如保持与周围车辆的最小距离并避免碰撞。
• 状态空间包括车辆速度、周围车辆的相对位置以及车道信息，以一维向量表示。
• 动作空间由离散选择构成：变道至左车道、变道至右车道或保持当前车道。
• 设计了奖励函数以鼓励安全高效的驾驶行为，对碰撞行为施加惩罚，并奖励靠近车道中心及保持稳定速度。
• 在Udacity自动驾驶汽车仿真器中进行100个训练回合，评估在10个测试回合中的表现。

实验结果

研究问题

• RQ1 在自主变道决策中，集成基于规则的安全约束如何提升DQN智能体的性能？
• RQ2 基于规则的约束对变道频率和整体安全率有何影响？
• RQ3 与标准DQN相比，基于规则的DQN在平均速度、安全率和变道次数方面表现如何？
• RQ4 智能体是否能在保持安全与效率的前提下，泛化至类似真实世界交通条件的环境？

主要发现

• 基于规则的DQN实现了0.8的安全率，显著优于标准DQN的0.2安全率。
• 基于规则的DQN将每轮平均变道次数降低至8.80次，而标准DQN为36.20次，表明其行为更具选择性与高效性。
• 基于规则的DQN维持了47英里每小时的平均速度，略高于标准DQN的46英里每小时。
• 在训练过程中，变道频率从每轮平均64.1次下降至测试阶段的10.0次，表明智能体学会了仅在必要时才进行变道。
• 在早期训练阶段，由于探索行为，智能体表现出不稳定行为，但随时间推移逐渐稳定，显示出有效的策略学习能力。
• 研究观察到，轻微碰撞可能引发连锁事故，凸显了需对这类事件施加更强惩罚的奖励函数设计优化的必要性。