[논문 리뷰] Multi-Agent Reinforcement Learning for Connected and Automated Vehicles Control: Recent Advancements and Future Prospects

Min Hua, Dong Chen외 5명|arXiv (Cornell University)|2023. 12. 18.

Traffic control and management인용 수 7

한 줄 요약

이 논문은 연결형 및 자율주행 차량(CAV)을 위한 다중에이전트 강화학습(MARL)에 대한 종합적인 리뷰를 제공하며, 플로팅, 차선 변경, 교차로 제어 등 응용 분야를 분석한다. MARL 아키텍처, 시뮬레이션 플랫폼, 그리고 sim-to-real 전이와 같은 도전 과제를 평가하여 혼합 교통 환경에서의 안전성, 효율성 및 협업 향상 잠재력을 제시한다.

ABSTRACT

Connected and automated vehicles (CAVs) are considered a potential solution for future transportation challenges, aiming to develop systems that are efficient, safe, and environmentally friendly. However, CAV control presents significant challenges due to the complexity of interconnectivity and coordination required among vehicles. Multi-agent reinforcement learning (MARL), which has shown notable advancements in addressing complex problems in autonomous driving, robotics, and human-vehicle interaction, emerges as a promising tool to enhance CAV capabilities. Despite its potential, there is a notable absence of current reviews on mainstream MARL algorithms for CAVs. To fill this gap, this paper offers a comprehensive review of MARL's application in CAV control. The paper begins with an introduction to MARL, explaining its unique advantages in handling complex and multi-agent scenarios. It then presents a detailed survey of MARL applications across various control dimensions for CAVs, including critical scenarios such as platooning control, lane-changing, and unsignalized intersections. Additionally, the paper reviews prominent simulation platforms essential for developing and testing MARL algorithms. Lastly, it examines the current challenges in deploying MARL for CAV control, including macro-micro optimization, communication, mixed traffic, and sim-to-real challenges. Potential solutions discussed include hierarchical MARL, decentralized MARL, adaptive interactions, and offline MARL.

연구 동기 및 목표

• 연결형 및 자율주행 차량(CAV) 제어 분야에서 다중에이전트 강화학습(MARL)에 대한 종합적인 리뷰가 부족한 점을 보완하기 위해.
• 플로팅, 차선 변경, 무신호 교차로와 같은 복잡한 다중에이전트 교통 환경에서 MARL의 효과성을 분석하기 위해.
• MARL 기반 CAV 제어 전략을 훈련 및 테스트하는 데 사용되는 기존 시뮬레이션 플랫폼을 평가하기 위해.
• 실제 CAV 응용에 MARL를 구현할 때 발생하는 주요 과제, 특히 sim-to-real 일반화 및 혼합 교통 환경에서의 안전성 문제를 규명하기 위해.
• MARL의 일반화, 안전성 향상 및 전동 킥보드 및 HDV와 같은 다양한 도로 사용자와의 상호운용성을 향상시키기 위한 향후 연구 방향을 제시하기 위해.

제안 방법

• 중앙집중적 훈련과 분산 실행(CTDE) 및 독립적 학습자와 같은 최신 MARL 알고리즘 및 아키텍처 변종을 조사하기 위해.
• 제어 차원 기반으로 MARL 응용을 분류: 일차원(플로팅), 이차원(차선 변경, 통합), 삼차원(교차로 조율).
• SUMO, CARLA, AirSim과 같은 주요 시뮬레이션 플랫폼을 평가하여 현실적인 교통 환경에서 MARL 에이전트를 훈련하고 벤치마킹하기 위해.
• CAV와 HDV의 궤적 예측을 이용해 위험한 동작을 대체하는 우선순위 기반 안전 감시자와 같은 안전 메커니즘을 분석하기 위해.
• 기존 데이터셋을 활용한 오프라인 MARL 및 온라인 적응 기법을 통해 정책 일반화를 향상시키기 위한 sim-to-real 전이 기법을 검토하기 위해.
• 예측 불가능한 도로 사용자가 포함된 혼합 교통 환경에서의 강인성 향상을 위해 인간 행동 모델링을 MARL 프레임워크에 통합하기 위해.

실험 결과

연구 질문

• RQ1 MARL 알고리즘은 CAV 플로팅 및 차선 변경 조작에서 협업과 안전성을 어떻게 향상시키는가?
• RQ2 다중 차량 CAV 제어에서 효과적인 MARL를 가능하게 하는 주요 아키텍처 및 훈련 파라다임은 무엇인가?
• RQ3 기존 시뮬레이션 플랫폼은 MARL 기반 CAV 컨트롤러 개발 및 평가를 어떻게 지원하는가?
• RQ4 시뮬레이션에서 훈련된 MARL 정책을 실제 CAV 구현으로 전이할 때 발생하는 주요 과제는 무엇인가?
• RQ5 HDV, 전동 킥보드, 보행자와 같은 다양한 혼합 교통 조건에서 MARL 모델을 어떻게 일반화할 수 있는가?

주요 결과

• MARL는 플로팅 및 교차로 조율과 같은 협업 기반 CAV 제어 작업에서 뛰어난 성능을 보이며, 교통 진동 감소 및 연료 효율성 향상이 보고된 바 있다.
• 안전 감시자 및 궤적 예측을 통합한 MARL 프레임워크는 고속도로에서의 차선 변경 시나리오에서 충돌이 발생하지 않는 성과를 달성했다.
• CARLA 및 SUMO와 같은 시뮬레이션 플랫폼은 MARL 에이전트의 스케일러블 훈련을 가능하게 하지만, 시뮬레이션과 실제 동역학 간의 괴리로 정책 전이에 장애가 발생한다.
• 현재의 MARL 방법은 예측 불가능한 인간 운전 차량 및 전동 킥보드와 같은 새로운 도로 사용자와의 상호작용에서 일반화 능력에 한계를 보이고 있다.
• 오프라인 MARL 및 온라인 적응 기법은 정책 일반화 향상에 효과적이며, 위험한 환경에서 실시간 온라인 훈련에 대한 의존도를 줄이는 데 유망한 전략으로 평가된다.
• MARL에 인간 행동 모델링을 통합하면 혼합 교통 환경에서의 에이전트 적응성 향상에 기여하지만, 실시간 정확도 확보는 여전히 도전 과제로 남아 있다.