[論文レビュー] Communication-Efficient Decentralized Multi-Agent Reinforcement Learning for Cooperative Adaptive Cruise Control

Dong Chen, Kaixiang Zhang+4 more|arXiv (Cornell University)|Aug 4, 2023

Traffic control and managementEngineering被引用数 3

ひとこと要約

本稿では、接続された自動運転車における協調クルーズ制御（CACC）を対象として、通信効率的で完全に分散型のマルチエージェント強化学習（MARL）フレームワークを提案する。ランダム化ラウンド量子化を用いて非ゼロ成分のみを送信することで、通信オーバーヘッドを低減しつつ高い制御性能を維持し、複数のCACCシナリオにおいて、通信効率およびプラトーン安定性の両面で最先端のベンチマークを上回る。

ABSTRACT

Connected and autonomous vehicles (CAVs) promise next-gen transportation systems with enhanced safety, energy efficiency, and sustainability. One typical control strategy for CAVs is the so-called cooperative adaptive cruise control (CACC) where vehicles drive in platoons and cooperate to achieve safe and efficient transportation. In this study, we formulate CACC as a multi-agent reinforcement learning (MARL) problem. Diverging from existing MARL methods that use centralized training and decentralized execution which require not only a centralized communication mechanism but also dense inter-agent communication during training and online adaptation, we propose a fully decentralized MARL framework for enhanced efficiency and scalability. In addition, a quantization-based communication scheme is proposed to reduce the communication overhead without significantly degrading the control performance. This is achieved by employing randomized rounding numbers to quantize each piece of communicated information and only communicating non-zero components after quantization. Extensive experimentation in two distinct CACC settings reveals that the proposed MARL framework consistently achieves superior performance over several contemporary benchmarks in terms of both communication efficiency and control efficacy. In the appendix, we show that our proposed framework's applicability extends beyond CACC, showing promise for broader intelligent transportation systems with intricate action and state spaces.

研究の動機と目的

• CACCシステムにおける中央集権的または高密度通信型MARL手法に伴う高い通信および計算オーバーヘッドに対処すること。
• 中央集権的調整や高密度相互エージェント通信に依存しない完全に分散型のMARLフレームワークを開発すること。
• 非ゼロで量子化された情報のみを送信する新しい量子化ベースのスキームにより、通信オーバーヘッドを低減すること。
• 複雑なCACCシナリオにおけるフレームワークのパフォーマンスを評価し、プラトーニングを越えたスケーラビリティを示すこと。
• 高次元の状態空間および行動空間を有する他のインテリジェント交通システムへの一般化可能性を示すこと。

提案手法

• フレームワークは完全に分散型の学習および推論設定を採用しており、学習時または実行時における中央集権的通信の必要性を排除している。
• 量子化機構はランダム化ラウンドを用いて各通信メッセージを圧縮し、データサイズを小さくしつつも重要な情報を保持している。
• 量子化後に非ゼロとなった成分のみが送信され、帯域使用量が顕著に削減されている。
• 本手法は、密な通信、疎な通信、および動的通信パターンを経て協調行動を学ぶMARLアルゴリズムに統合されている。
• 本手法は、標準的なプラトーングと、異なる車両動態を有する混合交通シナリオの2つの異なるCACC設定で評価されている。
• さらに、フレームワークは適応的交通信号制御（ATSC）問題においても検証されており、より広範な応用可能性が示されている。

実験結果

リサーチクエスチョン

• RQ1 中央集権的調整や高密度通信に依存しない完全に分散型のMARLフレームワークは、CACCにおいて高い制御性能を達成できるか？
• RQ2 エージェント間通信の量子化は、CACCにおける制御性能およびシステム安定性にどのように影響を与えるか？
• RQ3 量子化レベルの増加に伴う通信効率と性能劣化のトレードオフは何か？
• RQ4 提案されたフレームワークは、高次元の状態空間および行動空間を有する他の複雑な交通制御問題に一般化可能か？
• RQ5 収束速度および最終的なパフォーマンスの観点から、最先端のMARL手法と比較して本フレームワークはどのように差をつけるか？

主な発見

• 提案されたMACACCフレームワークは、適応的交通信号制御（ATSC）タスクにおいて、評価されたすべてのMARLベンチマークの中で最も速い収束速度と最高の学習報酬を達成した。
• 極端な量子化（QMACACC (2)）でさえも、DIAL や FPrint といった頑健なベースラインを上回り、通信削減に対して強い耐性を示した。
• より攻撃的な量子化戦略（QMACACC (4)）では顕著な性能低下が生じ、帯域幅の節約と情報の忠実度の間の重要なトレードオフが示された。
• CACCおよびATSCの両設定において、複数の最先端MARL手法を常に上回り、優れた制御効果と通信効率を示した。
• 広範な実験により、分散型で量子化されたMARLアプローチが、通信負荷を顕著に低減しながらも、高いプラトーン安定性と安全性を維持していることが確認された。
• 付録では、フレームワークのCACCを越えた応用可能性が示されており、複雑なダイナミクスを有するより広範なインテリジェント交通システムへの応用の可能性を示唆している。