[论文解读] Design Space of Behaviour Planning for Autonomous Driving

Marko Ilievski, Sean Sedwards+7 more|arXiv (Cornell University)|Aug 21, 2019

Reinforcement Learning in Robotics参考文献 65被引用 8

一句话总结

本文通过识别环境表征、运动规划器架构和决策逻辑实现三个核心维度，系统性地映射了自动驾驶行为规划的设计空间。它分析了离散/连续抽象、行为规划与局部规划器之间集成程度，以及传统逻辑与学习逻辑之间的权衡，提出未来有前景的方向是结合程序化逻辑监督的混合学习系统，以实现在动态环境中安全且高性能的决策。

ABSTRACT

We explore the complex design space of behaviour planning for autonomous driving. Design choices that successfully address one aspect of behaviour planning can critically constrain others. To aid the design process, in this work we decompose the design space with respect to important choices arising from the current state of the art approaches, and describe the resulting trade-offs. In doing this, we also identify interesting directions of future work.

研究动机与目标

• 系统化自动驾驶行为规划的复杂设计空间，以指导实际开发与研究。
• 识别并分析环境表征中离散与连续抽象、规划器集成方式以及决策逻辑之间的关键权衡。
• 评估学习逻辑（如深度强化学习）与传统编程在行为规划中的可行性。
• 指出当前方法的局限性，并提出结合学习逻辑与程序化逻辑的混合系统，以提升安全性和性能。
• 识别尚未充分探索的研究方向，如基于模型的强化学习、层次化强化学习，以及从示范和交互中联合学习的混合方法。

提出的方法

• 沿三个主要轴分解行为规划的设计空间：环境表征（如原始传感器数据、地图、栅格、潜在表征）、运动规划器架构（如模块化与集成式BP-LP、预测集成）和决策逻辑（如过程式、专家系统、学习逻辑）。
• 使用特征图可视化设计选择及其相互依赖关系，实现对设计空间的系统性探索。
• 回顾各轴的最先进方法，包括深度强化学习、模仿学习、蒙特卡洛树搜索和基于模型的强化学习。
• 分析不同设计配置在计算复杂度、鲁棒性、安全性和适应性方面的权衡。
• 提出未来高性能系统将采用混合架构，结合学习模型与人工验证的逻辑，以确保安全性和可靠性。
• 讨论挑战，如持续学习中的灾难性遗忘，以及多目标环境中奖励函数设计的困难。

实验结果

研究问题

• RQ1 不同的环境表征方式（如点云、占据栅格、潜在特征）如何影响行为规划的复杂度与性能？
• RQ2 在动态驾驶环境中，行为规划器与局部规划器的模块化与集成式架构之间存在哪些权衡？
• RQ3 在安全性、适应性和可扩展性方面，传统编程、专家系统与学习模型等不同决策逻辑实现方式如何比较？
• RQ4 将强化学习应用于行为规划时，主要挑战是什么，特别是奖励函数设计与泛化能力方面？
• RQ5 结合学习逻辑与程序化逻辑的混合系统，是否能在安全性与性能上优于纯学习或纯符号化方法？

主要发现

• 环境抽象与计算复杂度之间存在根本性权衡，更抽象的表征可降低复杂度，但可能损失细节。
• 行为规划器与局部规划器之间的集成架构通常能提升性能与响应速度，尤其在预测与决策紧密耦合时。
• 学习逻辑，特别是深度强化学习，可在复杂环境中实现稳健决策，但面临安全验证与奖励函数设计的挑战。
• 层次化与基于模型的强化学习可提升样本效率并降低方差，使其在可扩展行为规划中具有前景。
• 结合从示范中学习（如模仿学习）与从交互中学习（如强化学习）可加速收敛并提升鲁棒性，表明混合学习是未来可行的方向。
• 目前尚无标准化基准用于评估行为规划系统，凸显了该领域评估基础设施中的关键空白。