[论文解读] Emergent Road Rules In Multi-Agent Driving Environments

Avik Pal, Jonah Philion+2 more|arXiv (Cornell University)|Nov 21, 2020

Traffic control and management参考文献 39被引用 8

一句话总结

该论文表明，在多智能体强化学习环境中，当智能体在感知噪声大、空间密度高的条件下被训练以快速抵达目的地时，道路规则（如车道保持、遵守交通信号灯、保持安全跟车距离）会自发涌现。关键发现是，感知噪声和智能体密度是驱动社会性驾驶行为自发产生的关键因素，为自动驾驶车辆提供了一种可扩展的替代方案，无需硬编码交通规则。

ABSTRACT

For autonomous vehicles to safely share the road with human drivers, autonomous vehicles must abide by specific "road rules" that human drivers have agreed to follow. "Road rules" include rules that drivers are required to follow by law -- such as the requirement that vehicles stop at red lights -- as well as more subtle social rules -- such as the implicit designation of fast lanes on the highway. In this paper, we provide empirical evidence that suggests that -- instead of hard-coding road rules into self-driving algorithms -- a scalable alternative may be to design multi-agent environments in which road rules emerge as optimal solutions to the problem of maximizing traffic flow. We analyze what ingredients in driving environments cause the emergence of these road rules and find that two crucial factors are noisy perception and agents' spatial density. We provide qualitative and quantitative evidence of the emergence of seven social driving behaviors, ranging from obeying traffic signals to following lanes, all of which emerge from training agents to drive quickly to destinations without colliding. Our results add empirical support for the social road rules that countries worldwide have agreed on for safe, efficient driving.

研究动机与目标

• 探究是否可以在不显式编程的情况下，从强化学习中涌现出诸如车道使用和交通信号灯遵守等社会驾驶规则。
• 识别促成多智能体强化学习中人类类似驾驶行为涌现的环境与设计因素。
• 通过在具有现实约束的最小马尔可夫决策过程（MDP）中训练智能体，为自动驾驶车辆中硬编码道路规则提供一种可扩展的替代方案。
• 利用nuScenes数据集验证涌现行为是否与现实世界驾驶统计数据一致。

提出的方法

• 在多智能体强化学习（MARL）环境中使用近端策略优化（PPO）训练智能体，奖励函数针对速度和碰撞避免进行设计。
• 为智能体配备稀疏且带有噪声的LiDAR传感器，以模拟现实世界中的传感器限制。
• 将空间密度和感知噪声作为核心变量设计环境，以测试其对规则涌现的影响。
• 探索基于课程的训练方法，以提升在大规模地图上的训练效率。
• 采用基于样条的子策略以约束初始行为，防止过早变道，确保学习过程稳定。
• 在nuScenes数据集的合成与真实交叉路口上对模型进行评估，定量分析安全距离与交通规则遵守情况。

实验结果

研究问题

• RQ1 在多智能体驾驶模拟器中，哪些环境设计选择会导致社会驾驶规则的涌现？
• RQ2 感知噪声与智能体空间密度在多大程度上影响车道纪律与交通信号灯遵守的涌现？
• RQ3 强化学习训练的智能体在多大程度上复现了真实世界中人类驾驶行为，如保持安全跟车距离？
• RQ4 在没有显式奖励塑造的情况下，多智能体强化学习环境中的涌现行为能否匹配或近似既定道路规则？
• RQ5 在遵守安全距离规范方面，强化学习智能体的表现与人类驾驶员相比如何？

主要发现

• 在所提出的MDP中训练的智能体在98.45%的时间内表现出车道保持行为，且与安全跟车距离的遵守程度与人类驾驶模式高度一致。
• 交通信号灯遵守与车道纪律的涌现是感知噪声和高空间密度的直接结果，而非显式奖励塑造所致。
• 智能体在95%的时间内与行人保持安全距离，其中绝大多数情况下距离超过计算得出的安全停止距离 $\frac{v^2}{2a_{\text{max}}}$。
• 尽管合规率（98.45%）略低于人类驾驶员（99.56%），但强化学习智能体在绝大多数轨迹中仍能观察到安全距离。
• 基于样条的子策略有效防止了早期变道行为，从而促进了结构化驾驶行为的稳定涌现。
• 结果表明，感知噪声与空间密度是自动驾驶系统中实现可扩展、类人道路规则的关键要素。