[论文解读] Communication-Efficient Decentralized Multi-Agent Reinforcement Learning for Cooperative Adaptive Cruise Control

Dong Chen, Kaixiang Zhang+4 more|arXiv (Cornell University)|Aug 4, 2023

Traffic control and managementEngineering被引用 3

一句话总结

本文提出了一种通信高效、完全去中心化的多智能体强化学习（MARL）框架，用于联网自动驾驶车辆中的合作自适应巡航控制（CACC）。通过使用随机舍入量化方法仅传输非零分量，该方法在保持高控制性能的同时显著降低了通信开销，在多种CACC场景下，其通信效率和车队稳定性均优于当前最先进的基准方法。

ABSTRACT

Connected and autonomous vehicles (CAVs) promise next-gen transportation systems with enhanced safety, energy efficiency, and sustainability. One typical control strategy for CAVs is the so-called cooperative adaptive cruise control (CACC) where vehicles drive in platoons and cooperate to achieve safe and efficient transportation. In this study, we formulate CACC as a multi-agent reinforcement learning (MARL) problem. Diverging from existing MARL methods that use centralized training and decentralized execution which require not only a centralized communication mechanism but also dense inter-agent communication during training and online adaptation, we propose a fully decentralized MARL framework for enhanced efficiency and scalability. In addition, a quantization-based communication scheme is proposed to reduce the communication overhead without significantly degrading the control performance. This is achieved by employing randomized rounding numbers to quantize each piece of communicated information and only communicating non-zero components after quantization. Extensive experimentation in two distinct CACC settings reveals that the proposed MARL framework consistently achieves superior performance over several contemporary benchmarks in terms of both communication efficiency and control efficacy. In the appendix, we show that our proposed framework's applicability extends beyond CACC, showing promise for broader intelligent transportation systems with intricate action and state spaces.

研究动机与目标

• 解决集中式或密集通信MARL方法在CACC系统中通信与计算开销过高的问题。
• 开发一种完全去中心化的MARL框架，消除对集中协调和密集智能体间通信的依赖。
• 通过一种新颖的基于量化的方法减少通信开销，仅传输量化后的非零信息。
• 在复杂的CACC场景中评估该框架的性能，并证明其在车队编队之外的可扩展性。
• 展示该方法在具有高维状态与动作空间的其他智能交通系统中的通用性。

提出的方法

• 该框架采用完全去中心化的训练与推理设置，在训练或执行过程中无需集中通信。
• 量化机制采用随机舍入方法压缩每条通信消息，减少数据大小的同时保留关键信息。
• 仅传输量化后非零的分量，显著降低带宽使用。
• 该方法被集成到MARL算法中，通过密集、稀疏和动态通信模式学习协作行为。
• 在两种不同的CACC配置中对方法进行了评估：标准车队编队和具有不同车辆动力学的混合交通场景。
• 该框架还在自适应交通信号控制（ATSC）问题上进行了进一步验证，证明了其更广泛的应用潜力。

实验结果

研究问题

• RQ1 完全去中心化的MARL框架是否能在无集中协调或密集通信的情况下实现CACC中的高性能控制？
• RQ2 智能体间通信的量化对CACC中的控制性能与系统稳定性有何影响？
• RQ3 在量化级别不断提高的情况下，通信效率与性能退化之间的权衡如何？
• RQ4 所提出的框架是否能推广到具有高维状态与动作空间的其他复杂交通控制问题？
• RQ5 与当前最先进的MARL方法相比，该框架在收敛速度与最终性能方面表现如何？

主要发现

• 所提出的MACACC框架在自适应交通信号控制（ATSC）任务中，收敛速度最快且训练奖励最高，优于所有评估的MARL基准方法。
• 即使在极端量化条件下（QMACACC (2)），该方法仍优于DIAL和FPrint等稳健基线方法，表明其对通信减少具有强大鲁棒性。
• 更具攻击性的量化策略（QMACACC (4)）导致性能明显下降，表明带宽节省与信息保真度之间存在关键权衡。
• 该框架在CACC与ATSC设置中均持续优于多种当前最先进的MARL方法，展现出卓越的控制有效性与通信效率。
• 大量实验结果证实，该去中心化、量化化的MARL方法在大幅降低通信负载的同时，保持了高水平的车队稳定性和安全性。
• 附录展示了该框架在CACC之外的应用潜力，表明其在具有复杂动力学的更广泛智能交通系统中具有前景。