[论文解读] A Survey of Deep Reinforcement Learning Algorithms for Motion Planning and Control of Autonomous Vehicles

Fei Ye, Shen Zhang+2 more|arXiv (Cornell University)|May 29, 2021

Reinforcement Learning in Robotics参考文献 72被引用 6

一句话总结

本综述系统性地回顾了深度强化学习（DRL）在自动驾驶车辆运动规划与控制中的应用，对比了流水线式与端到端方法。它突出了DRL能够通过试错学习而无需人工标注数据的能力，展示了端到端方法在性能和系统设计紧凑性方面的优越表现，并指出模拟到真实环境的迁移、泛化能力以及专家数据稀缺是主要挑战，未来研究方向包括持续学习与元学习。

ABSTRACT

In this survey, we systematically summarize the current literature on studies that apply reinforcement learning (RL) to the motion planning and control of autonomous vehicles. Many existing contributions can be attributed to the pipeline approach, which consists of many hand-crafted modules, each with a functionality selected for the ease of human interpretation. However, this approach does not automatically guarantee maximal performance due to the lack of a system-level optimization. Therefore, this paper also presents a growing trend of work that falls into the end-to-end approach, which typically offers better performance and smaller system scales. However, their performance also suffers from the lack of expert data and generalization issues. Finally, the remaining challenges applying deep RL algorithms on autonomous driving are summarized, and future research directions are also presented to tackle these challenges.

研究动机与目标

• 提供对深度强化学习（DRL）在自动驾驶车辆运动规划与控制中应用的全面综述。
• 比较自动驾驶系统中流水线式与端到端DRL方法在性能、可扩展性及局限性方面的表现。
• 识别将DRL应用于现实世界自动驾驶中的关键挑战，特别是模拟到真实环境的迁移问题与数据效率问题。
• 探索未来研究方向，包括持续学习与元学习，以提升DRL智能体的泛化能力与适应性。

提出的方法

• 将现有的基于DRL的运动规划与控制方法分类为分层（流水线）与端到端框架。
• 分析所调研文献中特定的DRL算法，包括状态空间、动作空间与奖励函数的设计。
• 利用领域随机化与领域自适应技术评估模拟到真实环境的迁移性能，以弥合仿真与真实部署之间的差距。
• 回顾利用模仿学习与奖励塑造的方法，以提升样本效率与策略泛化能力。
• 提出持续学习与元学习作为有前景的策略，以实现智能体对新驾驶场景的快速适应。
• 通过结构化汇总表（表I）比较各研究中的算法公式化形式，涵盖关键组件与设计选择。

Figure 1: An illustration of the pipeline and the end-to-end approach for motion planning and control of autonomous vehicles, figure adapted from [ 2 ] .

实验结果

研究问题

• RQ1 在自动驾驶车辆控制中，流水线式与端到端深度强化学习方法在性能与系统复杂性方面如何比较？
• RQ2 将DRL策略从仿真环境中训练并部署到真实世界自动驾驶车辆时，面临的主要挑战是什么？
• RQ3 领域随机化与领域自适应在多大程度上能够提升基于DRL的运动规划中的模拟到真实环境泛化能力？
• RQ4 持续学习与元学习在多大程度上能够增强DRL智能体在多样化驾驶任务中的泛化能力与适应性？
• RQ5 奖励函数设计与状态/动作空间表征在DRL于自动驾驶决策中成功应用中起到何种作用？

主要发现

• 端到端DRL方法通过联合优化整个流程，实现了更优的性能与更小的系统规模，避免了人工设计模块带来的瓶颈。
• 尽管样本复杂度较高，DRL仍能实现无需显式人工标注的学习，仅依赖环境交互产生的奖励信号。
• 模拟到真实环境的迁移仍是主要挑战；仅在仿真中训练的策略通常在缺乏领域随机化或自适应技术的情况下无法泛化到真实世界条件。
• 流水线方法受限于人工设计的抽象，且无法随数据增加而改进，最终成为性能瓶颈。
• 当前的DRL方法大多具有任务特异性且数据效率低下，需为每个新场景重新训练，凸显了迁移学习与元学习的必要性。
• 领域随机化与模仿学习在提升策略泛化能力与减小模拟到真实环境的领域差距方面已显示出潜力。

Figure 2: Carla environments: Hard Rainy in Town 1 [ 39 ] .