[论文解读] Behavioral decision-making for urban autonomous driving in the presence of pedestrians using Deep Recurrent Q-Network

Niranjan Deshpande, Dominique Vaufreydaz+1 more|arXiv (Cornell University)|Oct 26, 2020

Autonomous Vehicle Technology and Safety参考文献 25被引用 22

一句话总结

本文提出一种深度循环Q网络（DRQN），用于在包含行人的城市自动驾驶环境中进行高层行为决策，采用三维状态表示和奖励函数，在模拟城市环境中训练智能体。DRQN在安全性和行驶距离方面优于基于规则的方法，实现70%无碰撞场景，较基于规则方法的40%有显著提升，尽管由于对行人行为的谨慎预判，平均速度较低。

ABSTRACT

Decision making for autonomous driving in urban environments is challenging due to the complexity of the road structure and the uncertainty in the behavior of diverse road users. Traditional methods consist of manually designed rules as the driving policy, which require expert domain knowledge, are difficult to generalize and might give sub-optimal results as the environment gets complex. Whereas, using reinforcement learning, optimal driving policy could be learned and improved automatically through several interactions with the environment. However, current research in the field of reinforcement learning for autonomous driving is mainly focused on highway setup with little to no emphasis on urban environments. In this work, a deep reinforcement learning based decision-making approach for high-level driving behavior is proposed for urban environments in the presence of pedestrians. For this, the use of Deep Recurrent Q-Network (DRQN) is explored, a method combining state-of-the art Deep Q-Network (DQN) with a long term short term memory (LSTM) layer helping the agent gain a memory of the environment. A 3-D state representation is designed as the input combined with a well defined reward function to train the agent for learning an appropriate behavior policy in a real-world like urban simulator. The proposed method is evaluated for dense urban scenarios and compared with a rule-based approach and results show that the proposed DRQN based driving behavior decision maker outperforms the rule-based approach.

研究动机与目标

• 解决在具有不可预测行人行为的复杂城市环境中进行高层行为决策的挑战。
• 克服基于规则的系统局限性，后者需要专家知识且在动态城市环境中缺乏适应性。
• 开发一种深度强化学习智能体，通过与真实城市模拟器交互学习最优驾驶策略。
• 通过LSTM增强的DQN（DRQN）将长期记忆整合到决策中，以提升对行人行为的预判能力。
• 在具有无信号交叉口和多样化行人行为的密集城市场景中评估该方法。

提出的方法

• 采用深度循环Q网络（DRQN），将深度Q网络（DQN）与长短期记忆（LSTM）层结合，为决策提供时间记忆。
• 设计多通道三维状态表示，编码环境的几何与语义信息，包括车辆和行人位置、速度及道路布局。
• 定义自定义奖励函数，以鼓励安全导航、向目标前进，并惩罚碰撞和过度制动。
• 在基于CARLA的城市模拟器中训练智能体，模拟真实行人行为：60%合法过街，20%非法横穿，20%沿人行道行走。
• 使用PID控制器实现低层执行控制，智能体在策略学习中需考虑该控制器的动力学特性。
• 训练过程包含200个回合，每回合最多1000步，若发生碰撞或达成目标则提前终止。

实验结果

研究问题

• RQ1 基于DRQN的智能体是否能在行人密集的城市环境中，学习到比基于规则系统更安全、更有效的行为策略？
• RQ2 在具有不确定行人行为的动态城市场景中，DQN架构中集成长短时记忆（LSTM）如何提升决策能力？
• RQ3 多通道三维状态表示在多大程度上增强了智能体对复杂城市交通状况的感知与响应能力？
• RQ4 在碰撞规避和行驶效率方面，智能体的性能与保守型基于规则基线相比如何？
• RQ5 智能体能否泛化到具有不同行人密度和行为模式的真实城市交通模式？

主要发现

• 基于DRQN的智能体实现了70%的无碰撞场景，显著优于基于规则方法的40%无碰撞场景。
• DRQN智能体每回合平均行驶123.1米无碰撞，而基于规则的智能体仅为82.6米，表明路径效率更高。
• 基于规则的智能体平均速度更高（7.79 km/h），而DRQN智能体为6.09 km/h，这是由于后者依赖记忆实现谨慎预判行为。
• 训练动态显示，初期因频繁碰撞导致奖励和步数下降，随后随着智能体学会规避碰撞而逐步改善。
• DRQN的记忆能力使其能够预判行人移动，从而在潜在冲突前实现更平稳、更安全的减速。
• 结果表明，记忆增强的深度强化学习在复杂城市决策中有效，但通过更多训练和先进算法，性能仍有提升空间。