[논문 리뷰] Decentralized Cooperative Lane Changing at Freeway Weaving Areas Using Multi-Agent Deep Reinforcement Learning

Yi Hou, Peter Gräf|arXiv (Cornell University)|2021. 10. 05.

Traffic control and management참고 문헌 24인용 수 7

한 줄 요약

이 논문은 고속도로 웨이브 영역에서 협동적인 차선 변경을 가능하게 하기 위해 근접 정책 최적화(PPO)를 사용하는 탈중앙화된 다중 에이전트 강화학습(MADRL) 프레임워크를 제안한다. 각 차량이 국지적 학습을 수행하면서도 전역 상태 정보에 액세스할 수 있도록 함으로써, 교통 흐름, 차량 속도, 연료 효율성 향상과 함께 정지 횟수와 배기가스를 감소시켜, 혼잡도 수준에 관계없이 인간 운전 차량을 능가하는 성능을 달성한다.

ABSTRACT

Frequent lane changes during congestion at freeway bottlenecks such as merge and weaving areas further reduce roadway capacity. The emergence of deep reinforcement learning (RL) and connected and automated vehicle technology provides a possible solution to improve mobility and energy efficiency at freeway bottlenecks through cooperative lane changing. Deep RL is a collection of machine-learning methods that enables an agent to improve its performance by learning from the environment. In this study, a decentralized cooperative lane-changing controller was developed using proximal policy optimization by adopting a multi-agent deep RL paradigm. In the decentralized control strategy, policy learning and action reward are evaluated locally, with each agent (vehicle) getting access to global state information. Multi-agent deep RL requires lower computational resources and is more scalable than single-agent deep RL, making it a powerful tool for time-sensitive applications such as cooperative lane changing. The results of this study show that cooperative lane changing enabled by multi-agent deep RL yields superior performance to human drivers in term of traffic throughput, vehicle speed, number of stops per vehicle, vehicle fuel efficiency, and emissions. The trained RL policy is transferable and can be generalized to uncongested, moderately congested, and extremely congested traffic conditions.

연구 동기 및 목표

• 교통 흐름의 용량과 효율성을 저해하는 고속도로 협력 지점에서의 빈번한 차선 변경 문제를 해결한다.
• 연결된 자율 주행 차량을 활용해 확장 가능하고 실시간 제어가 가능한 협동적 차선 변경 솔루션을 개발한다.
• 웨이브 영역에서의 교통 흐름, 연료 효율성 향상과 정지 횟수 및 배기가스 감소를 개선한다.
• 학습된 정책이 불균형한 교통 조건, 즉 혼잡도가 낮은 상태, 중간 혼잡도 상태, 극도로 혼잡한 상태 등 다양한 조건에서도 일반화될 수 있도록 보장한다.
• 단일 에이전트 RL에 비해 계산 부담을 줄이고 확장성을 향상시키는 탈중앙화된 프레임워크를 설계한다.

제안 방법

• 정책 학습을 위해 근접 정책 최적화(PPO)를 사용하는 다중 에이전트 강화학습(MADRL) 프레임워크를 적용한다.
• 각 차량(에이전트)이 국지적 관측과 전역 상태 정보를 사용하여 독립적으로 정책을 학습하는 탈중앙화된 제어 전략을 구현한다.
• 교통 흐름, 속도, 연료 효율성, 정지 빈도를 기반으로 개별 차량의 보상을 정의하여 협동 행동을 장려한다.
• 중앙집중적 훈련과 탈중앙적 실행(CTDE) 접근법을 사용하여, 훈련 중에는 전역 상태 정보에 액세스할 수 있지만 추론 시에는 국지적 의사결정을 유지한다.
• 깊이 신경망을 사용해 상태 관측을 차선 변경 행동으로 매핑하는 엔드 투 엔드 정책 학습을 수행한다.
• 불균형한 교통 조건, 즉 혼잡도가 낮은 상태, 중간 혼잡도 상태, 고도로 혼잡한 시나리오를 포함해 다양하게 훈련함으로써 정책의 이식 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 MADRL 프레임워크는 고속도로 웨이브 영역에서 협동적 차선 변경을 효과적으로 조율할 수 있는가?
• RQ2 제안된 MADRL 컨트롤러는 교통 흐름, 배기가스 등 주요 성능 지표에서 인간 운전 차량에 비해 어떻게 비교되는가?
• RQ3 학습된 강화학습 정책이 혼잡도가 낮은 상태, 중간 혼잡도 상태, 극도로 혼잡한 상태 등 다양한 교통 조건에서 얼마나 잘 일반화되는가?
• RQ4 훈련 중에 전역 상태 정보를 사용함으로써 탈중앙화된 에이전트의 성능이 향상되는가?
• RQ5 협동적 차선 변경은 교통 혼잡 지점에서 연료 효율성과 차량 정지 빈도에 어떤 영향을 미치는가?

주요 결과

• 제안된 MADRL 기반 컨트롤러는 모든 시험 혼잡도 수준에서 인간 운전 차량에 비해 교통 흐름에서 뚜렷한 성능 향상을 보였다.
• RL 컨트롤러 하에서 차량 속도가 인간 운전 조건에 비해 증가하여 더 원활한 교통 흐름을 나타냈다.
• 차량당 정지 횟수가 크게 감소하여 승차감 향상과 함께 연료 소비 감소에 기여했다.
• 조정된 차선 변경 덕분에 더 부드러운 가속과 정지-재시작 행동 감소로 인해 연료 효율성이 향상되었다.
• 적은 정지 횟수와 일관된 주행 패턴 덕분에 배기가스가 감소했다.
• 재훈련 없이도 혼잡도가 낮은 상태, 중간 혼잡도 상태, 극도로 혼잡한 상태 등 다양한 교통 조건에서 학습된 정책이 효과적으로 일반화되었다.