[论文解读] Decision-Making Technology for Autonomous Vehicles Learning-Based Methods, Applications and Future Outlook

Qi Liu, Xueyuan Li+2 more|arXiv (Cornell University)|Jul 2, 2021

Autonomous Vehicle Technology and Safety参考文献 59被引用 7

一句话总结

本文综述了自动驾驶车辆中基于学习的决策方法，将其与经典方法进行比较，并分析其在现实系统中的应用。文章指出深度强化学习与模仿学习是关键技术，强调了在安全性和泛化能力方面的挑战，并提出了未来在可解释性、仿真技术和多智能体协同方面研究方向，以实现更安全、更高效的自动驾驶系统。

ABSTRACT

Autonomous vehicles have a great potential in the application of both civil and military fields, and have become the focus of research with the rapid development of science and economy. This article proposes a brief review on learning-based decision-making technology for autonomous vehicles since it is significant for safer and efficient performance of autonomous vehicles. Firstly, the basic outline of decision-making technology is provided. Secondly, related works about learning-based decision-making methods for autonomous vehicles are mainly reviewed with the comparison to classical decision-making methods. In addition, applications of decision-making methods in existing autonomous vehicles are summarized. Finally, promising research topics in the future study of decision-making technology for autonomous vehicles are prospected.

研究动机与目标

• 提供自动驾驶车辆中基于学习的决策技术的全面综述。
• 从性能、适应性和安全性角度，比较基于学习的方法与经典决策方法。
• 总结现有自动驾驶车辆平台中决策系统在实际应用中的表现。
• 识别开放性挑战，并提出自动驾驶车辆决策领域的未来研究方向。
• 通过先进学习技术，支持开发更安全、更高效且具备泛化能力的自动驾驶系统。

提出的方法

• 将决策划分为分层框架：行为规划、运动规划与控制。
• 综述深度强化学习（DRL）作为在复杂环境中实现端到端决策的核心方法。
• 分析模仿学习（IL）技术，包括行为克隆与逆强化学习，用于从专家示范中学习。
• 从适应性和可扩展性角度，比较基于学习的方法与基于规则和基于优化的经典方法。
• 评估仿真环境与合成数据在决策模型预训练与泛化中的作用。
• 提出集成可解释人工智能（XAI）与安全验证技术，以提升真实部署中的信任度与鲁棒性。

实验结果

研究问题

• RQ1 在自动驾驶车辆系统中，基于学习的决策方法与经典基于规则和基于优化的方法相比如何？
• RQ2 在真实自动驾驶驾驶场景中，部署深度强化学习与模仿学习面临哪些关键技术挑战？
• RQ3 如何提升基于学习的自动驾驶决策模型在泛化与安全性方面的表现？
• RQ4 哪些最具前景的仿真与训练框架可加速稳健决策策略的开发？
• RQ5 为实现自动驾驶车辆中安全、可解释且可扩展的决策，未来哪些研究方向至关重要？

主要发现

• 基于学习的方法，尤其是深度强化学习与模仿学习，在复杂动态交通环境中相比经典方法展现出更优的适应性。
• 当具备充足的专家示范数据时，模仿学习可实现高性能，但其在未见场景中的泛化能力仍是一大挑战。
• 深度强化学习支持端到端决策，但需要大量训练数据，并需精心设计奖励函数以确保安全与收敛性。
• 基于仿真的训练显著提升了策略的泛化能力，并降低了真实部署中的风险。
• 当前基于学习的系统仍缺乏可解释性与形式化安全保证，凸显了与验证技术及可解释人工智能技术融合的必要性。
• 未来研究应聚焦于多智能体决策、迁移学习，以及结合学习与符号推理的混合架构，以提升系统鲁棒性。