[论文解读] Flow: A Modular Learning Framework for Autonomy in Traffic

Cathy Wu, Aboudy Kreidieh+3 more|arXiv (Cornell University)|Oct 16, 2017

Traffic control and management参考文献 115被引用 56

一句话总结

本文提出 Flow，一种用于自动驾驶车辆控制的模块化深度强化学习框架，通过可学习的控制规律建模复杂的交通动态。该框架在仅 5–10% 自动驾驶车辆（AV）渗透率下，性能超越人类驾驶员 40%，并在单车道场景中通过小型神经网络消除了停停走走的交通现象，且具备跨不同交通密度的泛化能力。

ABSTRACT

The rapid development of autonomous vehicles (AVs) holds vast potential for transportation systems through improved safety, efficiency, and access to mobility. However, due to numerous technical, political, and human factors challenges, new methodologies are needed to design vehicles and transportation systems for these positive outcomes. This article tackles technical challenges arising from the partial adoption of autonomy: partial control, partial observation, complex multi-vehicle interactions, and the sheer variety of traffic settings represented by real-world networks. The article presents a modular learning framework which leverages deep Reinforcement Learning methods to address complex traffic dynamics. Modules are composed to capture common traffic phenomena (traffic jams, lane changing, intersections). Learned control laws are found to exceed human driving performance by at least 40% with only 5-10% adoption of AVs. In partially-observed single-lane traffic, a small neural network control law can eliminate stop-and-go traffic -- surpassing all known model-based controllers, achieving near-optimal performance, and generalizing to out-of-distribution traffic densities.

研究动机与目标

• 解决部分自动化中的技术挑战，包括部分控制、部分观测以及复杂的多车辆交互问题。
• 设计一种可扩展、模块化的学习框架，以捕捉如拥堵、变道和交叉口等常见交通现象。
• 开发可在多种交通条件下泛化的控制规律，超越现有基于模型的控制器。
• 在基础设施有限、观测受限的真实部分自动驾驶场景下评估性能。

提出的方法

• 该框架利用深度强化学习训练针对特定交通现象（如变道和交叉口管理）的模块化控制规律。
• 每个模块通过端到端训练学习控制策略，使系统能够适应动态的多智能体交通环境。
• 该架构支持模块的组合，以建模复杂的交通场景，提升可扩展性和模块化程度。
• 采用小型神经网络实现单车道交通控制，在计算开销极小的情况下达到近似最优性能。
• 该框架在反映真实世界交通网络多样性及不同 AV 渗透率的仿真环境中进行训练。
• 通过在分布外的交通密度上评估泛化能力，证明了其无需微调即可保持鲁棒性。

实验结果

研究问题

• RQ1 模块化深度强化学习框架能否在部分自动驾驶环境中有效建模并控制复杂的交通动态？
• RQ2 在混合交通场景中，所学习的控制规律与人类驾驶员及已知基于模型的控制器相比性能如何？
• RQ3 在部分 AV 渗透率的单车道场景中，小型神经网络在多大程度上可消除停停走走的交通现象？
• RQ4 所学习的控制规律在训练分布外的交通密度下泛化能力如何？
• RQ5 达到显著性能提升所需最低的 AV 渗透率是多少？

主要发现

• 在仅 5–10% AV 渗透率的混合交通场景中，Flow 框架的性能至少比人类驾驶员高出 40%。
• 在部分观测的单车道交通中，小型神经网络控制规律成功消除了停停走走的交通模式。
• 所学习的控制器超越了所有已知的基于模型的控制器，并在缓解停停走走现象方面达到近似最优性能。
• 控制规律在无需微调的情况下，有效泛化至分布外的交通密度。
• 模块化设计使得复杂现象（如变道和交叉口）的控制规律能够有效组合。