[论文解读] A Survey on Autonomous Vehicle Control in the Era of Mixed-Autonomy: From Physics-Based to AI-Guided Driving Policy Learning

Xuan Di, Rongye Shi|arXiv (Cornell University)|Jul 10, 2020

Traffic control and management参考文献 244被引用 18

一句话总结

本综述介绍了人工智能引导的方法——特别是深度强化学习、模仿学习和博弈论——在混合交通环境（包含人类驾驶车辆HVs与自动驾驶车辆AVs）中用于自动驾驶车辆控制。该综述提出一个四阶段部署框架，识别出建模异构行为与交互作用的关键挑战，并勾勒出在真实世界混合自主生态系统中实现可扩展、安全且合乎伦理的AV系统的路径。

ABSTRACT

This paper serves as an introduction and overview of the potentially useful models and methodologies from artificial intelligence (AI) into the field of transportation engineering for autonomous vehicle (AV) control in the era of mixed autonomy. We will discuss state-of-the-art applications of AI-guided methods, identify opportunities and obstacles, raise open questions, and help suggest the building blocks and areas where AI could play a role in mixed autonomy. We divide the stage of autonomous vehicle (AV) deployment into four phases: the pure HVs, the HV-dominated, the AVdominated, and the pure AVs. This paper is primarily focused on the latter three phases. It is the first-of-its-kind survey paper to comprehensively review literature in both transportation engineering and AI for mixed traffic modeling. Models used for each phase are summarized, encompassing game theory, deep (reinforcement) learning, and imitation learning. While reviewing the methodologies, we primarily focus on the following research questions: (1) What scalable driving policies are to control a large number of AVs in mixed traffic comprised of human drivers and uncontrollable AVs? (2) How do we estimate human driver behaviors? (3) How should the driving behavior of uncontrollable AVs be modeled in the environment? (4) How are the interactions between human drivers and autonomous vehicles characterized? Hopefully this paper will not only inspire our transportation community to rethink the conventional models that are developed in the data-shortage era, but also reach out to other disciplines, in particular robotics and machine learning, to join forces towards creating a safe and efficient mixed traffic ecosystem.

研究动机与目标

• 弥合自动驾驶车辆与人类驾驶车辆共存的混合交通环境建模中的关键空白，特别是在过渡部署阶段。
• 通过整合深度强化学习和模仿学习等人工智能驱动方法，克服传统基于物理的模型在数据稀缺环境中的局限性。
• 为大规模AV在包含异构人类驾驶员与AV的混合交通场景中的部署，开发可扩展的驾驶策略。
• 表征人类驾驶员与AV之间的交互作用，包括不可控AV的行为估计与建模。
• 通过与社会科学和法律的跨学科整合，推进可问责、公平且符合社会价值观的AV决策制定。

提出的方法

• 将AV部署划分为四个阶段：纯HVs、HVs主导、AV主导和纯AVs，重点关注后三个阶段以应对混合自主性挑战。
• 应用博弈论模型分析混合交通环境中AV与人类驾驶员之间的战略互动。
• 利用深度强化学习（DRL）和逆强化学习（IRL）从大规模交通数据中学习最优驾驶策略。
• 采用模仿学习（IL）通过学习示范轨迹来建模人类驾驶行为，从而减少样本偏差。
• 整合经典交通模型（微观、中观、宏观尺度）的先验知识，以约束并提升基于AI策略的泛化能力。
• 提出多尺度建模框架，连接微观AV行为与宏观交通系统性能。

实验结果

研究问题

• RQ1 在包含人类驾驶员和不可控AV的混合交通中，何种可扩展的驾驶策略能有效控制大量AV？
• RQ2 在多样的驾驶条件和异质风险特征下，如何准确估计和建模人类驾驶员行为？
• RQ3 在混合交通仿真与控制框架中，不可控AV的驾驶行为应如何表示？
• RQ4 人类驾驶员与AV之间的复杂交互作用如何表征，特别是在安全性、效率和涌现交通动力学方面？
• RQ5 如何使人工智能引导的AV控制系统具备可问责性、公平性，并与社会价值观保持伦理一致？

主要发现

• 人工智能引导的方法，如深度强化学习和模仿学习，在混合交通环境中学习可扩展、自适应驾驶策略方面展现出强大潜力。
• 逆强化学习（IRL）在小样本数据下表现出强鲁棒性，为解决人类行为建模中的数据稀缺与样本偏差问题提供了有前景的解决方案。
• 现有基于物理的模型为AI驱动策略在混合交通场景中的泛化能力提供了宝贵先验知识，有助于约束和提升其性能。
• HVs主导和AV主导阶段的建模复杂度最高，因其涉及人类与自动驾驶车辆之间不可预测的异构交互。
• 实地实验设计仍研究不足，训练与测试数据选择对模型预测性能与鲁棒性的影响存在显著不确定性。
• 可问责、公平且合乎伦理的AV决策制定仍是开放挑战，亟需工程、法律与社会科学等多学科的协同合作。