[论文解读] Graph Convolution-Based Deep Reinforcement Learning for Multi-Agent Decision-Making in Mixed Traffic Environments

Qi Liu, Zirui Li+3 more|arXiv (Cornell University)|Jan 30, 2022

Traffic control and management被引用 5

一句话总结

本文提出了一种基于图卷积的深度强化学习（GRL）框架，用于混合交通环境中多智能体决策，结合图神经网络（GNN）建模车辆交互关系与深度Q网络（DQN）变体，以提升协同变道决策性能。结果表明，引入GNN显著提高了决策准确性，其中Dueling-Double DQN（D3QN）在高速公路汇入场景中实现了3346.74的最高平均奖励。

ABSTRACT

An efficient and reliable multi-agent decision-making system is highly demanded for the safe and efficient operation of connected autonomous vehicles in intelligent transportation systems. Current researches mainly focus on the Deep Reinforcement Learning (DRL) methods. However, utilizing DRL methods in interactive traffic scenarios is hard to represent the mutual effects between different vehicles and model the dynamic traffic environments due to the lack of interactive information in the representation of the environments, which results in low accuracy of cooperative decisions generation. To tackle these difficulties, this research proposes a framework to enable different Graph Reinforcement Learning (GRL) methods for decision-making, and compares their performance in interactive driving scenarios. GRL methods combinate the Graph Neural Network (GNN) and DRL to achieve the better decisions generation in interactive scenarios of autonomous vehicles, where the features of interactive scenarios are extracted by the GNN, and cooperative behaviors are generated by DRL framework. Several GRL approaches are summarized and implemented in the proposed framework. To evaluate the performance of the proposed GRL methods, an interactive driving scenarios on highway with two ramps is constructed, and simulated experiment in the SUMO platform is carried out to evaluate the performance of different GRL approaches. Finally, results are analyzed in multiple perspectives and dimensions to compare the characteristic of different GRL approaches in intelligent transportation scenarios. Results show that the implementation of GNN can well represents the interaction between vehicles, and the combination of GNN and DRL is able to improve the performance of the generation of lane-change behaviors. The source code of our work can be found at https://github.com/Jacklinkk/TorchGRL.

研究动机与目标

• 为解决现有深度强化学习方法在建模动态、交互式交通环境时，因对车车间交互关系表征不足而导致的局限性。
• 开发一种模块化、可泛化的框架，用于在智能交通系统中评估GRL方法。
• 在真实的高速公路汇入场景中，比较多种GRL算法（DQN、Double DQN、Dueling DQN和Dueling-Double DQN）的性能表现。
• 验证图表示通过捕捉车辆交互动态，是否能提升协同决策能力。
• 提供开源实现，用于在交通仿真环境中基准化GRL方法。

提出的方法

• 在SUMO中构建一个三车道高速公路场景，包含两个匝道出口，以模拟混合交通与交互式驾驶条件。
• 采用模块化框架，集成交通场景生成、GRL算法模块与仿真环境，用于评估。
• 使用图神经网络（GNN）通过节点特征矩阵与邻接矩阵，编码车辆特征与智能体间关系。
• 在GRL框架中，将四种基于DQN的算法——DQN、Double DQN、Dueling DQN与Dueling-Double DQN（D3QN）——作为策略学习组件。
• 使用RL-filter对输入表示进行优化，提升GNN模块中的学习稳定性。
• 基于成功变道与碰撞规避的稀疏奖励，使用强化学习训练并评估模型。

实验结果

研究问题

• RQ1 在多智能体决策中，引入图卷积网络在多大程度上改善了车车间交互关系的表征？
• RQ2 在复杂交通场景中，不同DQN变体（DQN、Double DQN、Dueling DQN、D3QN）在奖励、损失与Q值估计方面的表现如何？
• RQ3 与基于规则或非交互式DRL方法相比，GNN-DRL框架在生成协同变道行为方面提升了多少？
• RQ4 在交互式环境中，不同GRL算法的训练收敛行为与稳定性如何？
• RQ5 所提出的模块化框架是否能有效支持在智能交通应用中对多种GRL算法的比较与验证？

主要发现

• GNN的集成显著提升了车车间交互关系的建模能力，使动态交通环境中的决策更加准确与协同。
• D3QN实现了3346.74的最高平均测试奖励，优于Double DQN（3283.57）、Dueling DQN（3295.97）与DQN（3246.10），表明其具有更优的策略优化能力。
• Dueling DQN与D3QN相比标准DQN与Double DQN，表现出更低的平均损失与更快的收敛速度，证明了其训练稳定性更优。
• DQN的平均Q值曲线因最大操作符导致过估计，而Double DQN与D3QN则展现出更平滑、更可靠的Q值估计。
• 所有GRL方法在累积奖励方面均优于基于规则的基线方法，证实了GNN-DRL在交互式场景中的有效性。
• 损失与奖励曲线在探索阶段后稳定收敛，表明所有GRL算法均具备稳健的学习动态。