[논문 리뷰] Communication-Efficient Decentralized Multi-Agent Reinforcement Learning for Cooperative Adaptive Cruise Control

Dong Chen, Kaixiang Zhang외 4명|arXiv (Cornell University)|2023. 08. 04.

Traffic control and managementEngineering인용 수 3

한 줄 요약

이 논문은 연결된 자율주행차에서 협동적 적응형 크루즈 컨트롤(CACC)을 위한 통신 효율적이고 완전히 탈중앙화된 다중 에이전트 강화학습(MARL) 프레임워크를 제안한다. 무작위 반올림 양자화를 사용해 비영성분만 전송함으로써 통신 오버헤드를 줄이고 높은 제어 성능를 유지하며, 다양한 CACC 시나리오에서 최신 기준 성능을 초월하는 통신 효율성과 플라톤 안정성 확보한다.

ABSTRACT

Connected and autonomous vehicles (CAVs) promise next-gen transportation systems with enhanced safety, energy efficiency, and sustainability. One typical control strategy for CAVs is the so-called cooperative adaptive cruise control (CACC) where vehicles drive in platoons and cooperate to achieve safe and efficient transportation. In this study, we formulate CACC as a multi-agent reinforcement learning (MARL) problem. Diverging from existing MARL methods that use centralized training and decentralized execution which require not only a centralized communication mechanism but also dense inter-agent communication during training and online adaptation, we propose a fully decentralized MARL framework for enhanced efficiency and scalability. In addition, a quantization-based communication scheme is proposed to reduce the communication overhead without significantly degrading the control performance. This is achieved by employing randomized rounding numbers to quantize each piece of communicated information and only communicating non-zero components after quantization. Extensive experimentation in two distinct CACC settings reveals that the proposed MARL framework consistently achieves superior performance over several contemporary benchmarks in terms of both communication efficiency and control efficacy. In the appendix, we show that our proposed framework's applicability extends beyond CACC, showing promise for broader intelligent transportation systems with intricate action and state spaces.

연구 동기 및 목표

• 중앙집중식 또는 밀도 높은 통신을 요구하는 MARL 방법의 높은 통신 및 계산 오버헤드 문제를 해결하기 위해.
• 중앙집중적 조율이나 밀도 높은 에이전트 간 통신에 의존하지 않는 완전히 탈중앙화된 MARL 프레임워크를 개발하기 위해.
• 비영성분만 전송하는 새로운 양자화 기반 기법을 통해 통신 오버헤드를 줄이기 위해.
• 복잡한 CACC 시나리오에서의 프레임워크 성능을 평가하고 플라톤을 초월한 확장성을 입증하기 위해.
• 고차원 상태 및 행동 공간을 가진 다른 지능형 교통 시스템에 대한 일반화 가능성 입증하기 위해.

제안 방법

• 프레임워크는 완전히 탈중앙화된 학습 및 추론 환경을 활용하여 학습 또는 실행 중 중앙집중적 통신이 필요 없도록 한다.
• 양자화 메커니즘이 무작위 반올림을 사용해 각 통신 메시지를 압축함으로써 데이터 크기를 줄이고 핵심 정보를 유지한다.
• 양자화 후 비영성분만 전송되므로 대역폭 사용이 크게 감소한다.
• 밀도 높은, 희소한, 동적 통신 패턴을 통해 협동 행동을 학습하는 MARL 알고리즘에 이 방법을 통합한다.
• 표준 플라톤과 다양한 차량 동역학을 가진 혼합 교통 시나리오로 구성된 두 가지 다른 CACC 구성에서 방법을 평가한다.
• 프레임워크는 적응형 교통 신호 제어(ATSC) 문제에서도 추가로 검증되어 더 넓은 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 중앙집중적 조율나 밀도 높은 통신 없이도 완전히 탈중앙화된 MARL 프레임워크가 CACC에서 높은 제어 성능를 달성할 수 있는가?
• RQ2 에이전트 간 통신의 양자화가 CACC에서 제어 성능와 시스템 안정성에 어떤 영향을 미치는가?
• RQ3 양자화 수준이 증가함에 따라 통신 효율성과 성능 저하 사이의 상충 관계는 어떠한가?
• RQ4 제안된 프레임워크는 고차원 상태 및 행동 공간을 가진 다른 복잡한 교통 제어 문제로 일반화 가능한가?
• RQ5 수렴 속도와 최종 성능 측면에서 최신 기준 MARL 방법과 비교해 볼 때 프레임워크는 어떠한가?

주요 결과

• 제안된 MACACC 프레임워크는 적응형 교통 신호 제어(ATSC) 과제에서 평가된 모든 MARL 기준 대비 가장 빠른 수렴 속도와 가장 높은 학습 보상 달성.
• 극도의 양자화(예: QMACACC (2)) 조건에서도 DIAL 및 FPrint와 같은 강건한 기준보다 성능가 뛰어나 통신 감소에 대한 뛰어난 내성 확보.
• 더 공격적인 양자화 전략(QMACACC (4))은 성능 저하가 뚜렷하게 발생함을 시사하여 대역폭 절감과 정보 무결성 사이의 핵심 상충 관계 존재.
• CACC 및 ATSC 환경 양쪽 모두에서 다수의 최신 기준 MARL 방법보다 지속적으로 뛰어난 제어 효율성과 통신 효율성 확보.
• 광범위한 실험을 통해 탈중앙화된 양자화 MARL 접근법이 통신 부담을 크게 줄이면서도 높은 플라톤 안정성과 안전성 유지함을 확인.
• 부록은 프레임워크가 CACC를 초월해 복잡한 동역학을 가진 더 넓은 지능형 교통 시스템에 적용 가능함을 입증하며, 잠재적 응용 가능성 제시.