[논문 리뷰] Leveraging the Capabilities of Connected and Autonomous Vehicles and Multi-Agent Reinforcement Learning to Mitigate Highway Bottleneck Congestion

Paul Ha, Sikai Chen외 4명|arXiv (Cornell University)|2020. 10. 11.

Traffic control and managementEngineering인용 수 22

한 줄 요약

이 논문은 연결형 자율주행차(CAV)가 혼잡한 고속도로의 혼잡을 공동으로 완화할 수 있도록 그래프 컬러리션 네트워크(GCN)와 딥 디터미니스틱 포licy 그레디언트(DDPG)를 사용하는 다중 에이전트 강화학습(MARL) 프레임워크를 제안한다. 단지 10%의 CAV 침투율에서도 RL 기반 컨트롤러가 혼잡을 크게 감소시키며, 동적인, 구조에 의존하는 교통 입력을 효과적으로 처리함으로써 규칙 기반 접근 방식을 능가한다.

ABSTRACT

Active Traffic Management strategies are often adopted in real-time to address such sudden flow breakdowns. When queuing is imminent, Speed Harmonization (SH), which adjusts speeds in upstream traffic to mitigate traffic showckwaves downstream, can be applied. However, because SH depends on driver awareness and compliance, it may not always be effective in mitigating congestion. The use of multiagent reinforcement learning for collaborative learning, is a promising solution to this challenge. By incorporating this technique in the control algorithms of connected and autonomous vehicle (CAV), it may be possible to train the CAVs to make joint decisions that can mitigate highway bottleneck congestion without human driver compliance to altered speed limits. In this regard, we present an RL-based multi-agent CAV control model to operate in mixed traffic (both CAVs and human-driven vehicles (HDVs)). The results suggest that even at CAV percent share of corridor traffic as low as 10%, CAVs can significantly mitigate bottlenecks in highway traffic. Another objective was to assess the efficacy of the RL-based controller vis-\\`a-vis that of the rule-based controller. In addressing this objective, we duly recognize that one of the main challenges of RL-based CAV controllers is the variety and complexity of inputs that exist in the real world, such as the information provided to the CAV by other connected entities and sensed information. These translate as dynamic length inputs which are difficult to process and learn from. For this reason, we propose the use of Graphical Convolution Networks (GCN), a specific RL technique, to preserve information network topology and corresponding dynamic length inputs. We then use this, combined with Deep Deterministic Policy Gradient (DDPG), to carry out multi-agent training for congestion mitigation using the CAV controllers.

연구 동기 및 목표

• 연결형 자율주행차(CAV)를 활용하여 고속도로 혼잡 지점의 혼잡을 완화하기 위한 확장 가능하고 실시간 제어 전략을 개발한다.
• 인간 운전사의 준수에 의존하는 규칙 기반 속도 조율 방식의 한계를 극복한다. 이러한 방식은 일관성이 없기 때문이다.
• 인간 운전차량(HDVs)이 혼합된 교통 환경에서도 효과적으로 작동하는 다중 에이전트 강화학습(MARL) 컨트롤러를 설계한다.
• 연결된 실체로부터 온 동적인 길이, 구조에 의존하는 입력을 처리하기 위해 그래프 컬러리션 네트워크(GCN)를 활용한다.
• 실제 교통 조건에서 규칙 기반 컨트롤러와 비교하여 RL 기반 컨트롤러의 성능을 평가한다.

제안 방법

• 본 연구는 각 CAV가 독립된 에이전트로 작동하며 교통 흐름을 최적화하도록 학습하는 다중 에이전트 강화학습(MARL) 프레임워크를 사용한다.
• 그래프 컬러리션 네트워크(GCN)는 교통 연결성과 차량 간 상호작용을 나타내는 동적이고 가변 길이의 입력을 처리하여 공간적 구조를 유지한다.
• 연속된 행동 공간 제어를 위해 DDPG 알고리즘을 적용하여 CAV가 충격파 전파를 완화하기 위해 부드러운 속도 조절을 수행한다.
• 혼합 교통 환경에서 CAV와 HDV가 모두 존재하는 시뮬레이션 환경에서 MARL 프레임워크를 훈련시켜 실제 구현 조건을 반영한다.
• 입력으로는 근처 차량의 위치, 속도, 연결성 데이터를 포함하며, GCN를 통해 인코딩되어 구조적 정보가 유지된다.
• 총 이동 시간과 충격파 진폭을 최소화하는 것이 컨트롤러의 훈련 목표이다.

실험 결과

연구 질문

• RQ1 낮은 CAV 침투율에서도 다중 에이전트 강화학습 컨트롤러가 혼합 교통 환경에서 고속도로 혼잡 지점의 혼잡을 효과적으로 줄일 수 있는가?
• RQ2 GCN 기반 개선된 MARL 컨트롤러의 성능은 규칙 기반 속도 조율 전략과 비교해 어떻게 다른가?
• RQ3 제안된 프레임워크는 연결 차량 네트워크에서 유도되는 동적인, 가변 길이의 입력을 처리하면서도 교통 구조 정보를 유지할 수 있는가?
• RQ4 RL 컨트롤러가 의미 있는 혼잡 완화를 달성하기 위해 필요한 최소 CAV 침투율은 얼마인가?
• RQ5 혼합 교통 환경에서 교통 밀도 및 운전사 행동의 변동에 대해 RL 기반 컨트롤러는 얼마나 견고한가?

주요 결과

• 단지 10%의 CAV 침투율에서도 RL 기반 컨트롤러가 혼잡을 크게 감소시켜 낮은 보급률에서도 높은 효과를 보였다.
• GCN 기반의 입력 처리 방식은 기존 방법보다 동적이고 구조에 의존하는 교통 데이터를 더 효과적으로 처리할 수 있도록 모델을 강화했다.
• RL 기반 컨트롤러는 총 이동 시간을 줄이고 충격파 진폭을 완화하는 데서 규칙 기반 속도 조율 전략을 능가했다.
• DDPG의 사용은 안정적인 연속 제어 행동을 가능하게 하여 더 부드러운 속도 조절과 진동 감소를 이끌었다.
• 다양한 교통 밀도와 운전사 행동 패턴에서도 성능을 유지하여 견고함을 입증했다.
• GCN와 MARL의 통합은 복잡한 실제 도로 네트워크에서 확장 가능하고 일반화 가능한 혼잡 완화를 가능하게 했다.