[论文解读] Microscopic Traffic Simulation by Cooperative Multi-agent Deep Reinforcement Learning

Giulio Bacchiani, Daniele Molinari+1 more|arXiv (Cornell University)|Mar 4, 2019

Traffic control and management参考文献 31被引用 11

一句话总结

本文提出了一种用于微观交通仿真的合作式多智能体深度强化学习框架，通过视觉观测和可配置的驾驶风格参数来模拟现实中的驾驶员行为，例如环岛通行。该方法将异步优势演员-critic（A3C）算法扩展至多智能体设置，在复杂操作中实现了高成功率，展示了通过动作重复实现的稳定学习以及可调节的激进程度与速度配置。

ABSTRACT

Expert human drivers perform actions relying on traffic laws and their previous experience. While traffic laws are easily embedded into an artificial brain, modeling human complex behaviors which come from past experience is a more challenging task. One of these behaviors is the capability of communicating intentions and negotiating the right of way through driving actions, as when a driver is entering a crowded roundabout and observes other cars movements to guess the best time to merge in. In addition, each driver has its own unique driving style, which is conditioned by both its personal characteristics, such as age and quality of sight, and external factors, such as being late or in a bad mood. For these reasons, the interaction between different drivers is not trivial to simulate in a realistic manner. In this paper, this problem is addressed by developing a microscopic simulator using a Deep Reinforcement Learning Algorithm based on a combination of visual frames, representing the perception around the vehicle, and a vector of numerical parameters. In particular, the algorithm called Asynchronous Advantage Actor-Critic has been extended to a multi-agent scenario in which every agent needs to learn to interact with other similar agents. Moreover, the model includes a novel architecture such that the driving style of each vehicle is adjustable by tuning some of its input parameters, permitting to simulate drivers with different levels of aggressiveness and desired cruising speeds.

研究动机与目标

• 开发一种微观交通仿真器，以逼真地模拟人类驾驶员之间的交互行为，包括意图沟通与路权协商。
• 解决基于规则的仿真器缺乏动态协商与行为适应性的局限性。
• 通过合成的、基于学习的环境，实现自动驾驶模块在高层操作中的训练。
• 通过可调节的输入参数，引入个性化的驾驶风格（如激进程度与期望速度）。
• 评估多实例训练中动作重复在稳定学习与提升性能方面的有效性。

提出的方法

• 将异步优势演员-critic（A3C）算法扩展至多智能体设置，其中每辆汽车作为独立但合作的智能体。
• 采用混合观测输入，结合视觉帧（环境的语义分割）与数值状态向量（如速度、距离）。
• 提出一种新颖的架构，通过标量参数调节驾驶风格，实现对多样化驾驶员行为的模拟。
• 采用动作重复以降低更新相关性，在多实例环境中稳定训练。
• 在密集交通的环岛仿真环境中训练智能体，基于任务完成情况（如成功汇入）使用稀疏密集奖励。
• 通过多个环境实例的异步训练加速学习，同时保持策略稳定性。

实验结果

研究问题

• RQ1 多智能体深度强化学习框架能否有效模拟复杂交通场景中诸如路权协商等合作式驾驶员行为？
• RQ2 动作重复在多智能体DRL交通仿真训练中的稳定性与性能方面有何影响？
• RQ3 通过输入参数调节，驾驶风格的多样性（如激进程度与速度）在多大程度上可被建模与控制？
• RQ4 与单实例训练相比，多实例训练在收敛性与性能方面表现如何？
• RQ5 该仿真器能否泛化至车辆必须在无硬编码规则的情况下进行协商的场景，以模拟真实人类行为？

主要发现

• 多智能体A3C框架成功学习执行复杂操作，如在拥挤环岛中汇入，成功率极高。
• 动作重复显著稳定了训练，尤其是在多实例设置中，带来更快的收敛速度与更优的性能。
• 在强制实施安全驾驶行为的情况下，模型实现了接近最优的成功率（接近1.0），尽管碰撞并未完全消除。
• 若不采用动作重复，多实例训练无法收敛，表明动作重复在此设置中对稳定性至关重要。
• 通过引入驾驶风格的标量参数，可有效控制智能体行为，实现对多样化驾驶个性的模拟。
• 仿真器展现出逼真的非协作行为模式，包括偶尔发生碰撞，从而增强了对高层自主模块训练的鲁棒性。