[논문 리뷰] Dynamic Queue-Jump Lane for Emergency Vehicles under Partially Connected Settings: A Multi-Agent Deep Reinforcement Learning Approach

Haoran Su, Kejian Shi외 2명|arXiv (Cornell University)|2020. 03. 02.

Traffic control and management참고 문헌 44인용 수 6

한 줄 요약

이 논문은 부분적으로 연결된 V2X 환경에서 다중 에이전트 딥 강화학습을 사용하여 비상차량을 위한 동적 큐점프 차선(DQJL) 시스템을 제안한다. 실시간으로 적응하는 전략을 통해 연결된 차량 간의 협력적 양보를 유도함으로써, 이 방법은 도심 도로에서 비상차량 통과 시간을 최대 30% 감소시킨다. 이는 연결된 차량의 비율이 변동하거나 운전자의 행동이 확률적일 경우에도 성립한다.

ABSTRACT

Emergency vehicle (EMV) service is a key function of cities and is exceedingly challenging due to urban traffic congestion. The main reason behind EMV service delay is the lack of communication and cooperation between vehicles blocking EMVs. In this paper, we study the improvement of EMV service under V2X connectivity. We consider the establishment of dynamic queue jump lanes (DQJLs) based on real-time coordination of connected vehicles in the presence of non-connected human-driven vehicles. We develop a novel Markov decision process formulation for the DQJL coordination strategies, which explicitly accounts for the uncertainty of drivers' yielding pattern to approaching EMVs. Based on pairs of neural networks representing actors and critics for agent vehicles, we develop a multi-agent actor-critic deep reinforcement learning algorithm that handles a varying number of vehicles and a random proportion of connected vehicles in the traffic. Approaching the optimal coordination strategies via indirect and direct reinforcement learning, we present two schemata to address multi-agent reinforcement learning on this connected vehicle application. Both approaches are validated, on a micro-simulation testbed SUMO, to establish a DQJL fast and safely. Validation results reveal that, with DQJL coordination strategies, it saves up to 30% time for EMVs to pass a link-level intelligent urban roadway than the baseline scenario.

연구 동기 및 목표

• 도심 교통 혼잡과 차량 간 협력 부족으로 인한 비상차량 응답 시간 증가 문제를 해결한다.
• 연결된 차량과 인간 운전 차량이 혼재된 혼합 교통 환경에서 동적 큐점프 차선(DQJL)을 위한 확장 가능하고 실시간 협력 전략을 개발한다.
• 비상차량 통과 중 차량 이동 및 양보 행동의 불확실성과 주행 차선 이동에 필요한 개방 공간 부족 문제를 극복한다.
• 부분적 연결 조건 하에서 실시간으로 분산형 의사결정을 가능하게 하는 다중 에이전트 강화학습 기반 DQJL 형성 전략을 구현한다.
• 기본 설정에서 협력이 없는 경우와 비교하여 링크 수준의 도심 도로에서 비상차량 이동 시간을 줄이기 위한 DQJL 협력의 효과를 검증한다.

제안 방법

• 비관측 가능한 마르코프 결정 과정(POMDP)으로 DQJL 협력 문제를 수식화하여 운전자의 준수 여부와 교통 조건의 불확실성을 모델링한다.
• 다양한 차량 수와 연결 비율에 대응하기 위해 중심화된 학습과 분산 실행(CTDE) 방식을 적용한 다중 에이전트 액터-크리틱 딥 강화학습 알고리즘을 개발한다.
• 직접적 방법과 간접적 방법의 두 가지 접근 방식을 구현한다: 간접적 방법은 확률적 행동을 고려한 수정된 차량 따라하기 모델을 사용하고, 직접적 방법은 SUMO 기반 교통 시뮬레이션에서 엔드 투 엔드 학습을 수행한다.
• 연속적인 행동 공간(예: 차선 변경 결정)을 다루기 위해 모든 에이전트 간에 정책 네트워크를 공유하는 투명 지연 딥 디터민리스틱 정책 그래디언트(TD3)를 사용한다.
• V2X 통신을 통합하여 연결된 차량에 DQJL 형성 지시를 브로드캐스트함으로써, 전체 차량 연결이 필요 없이 실시간 협력을 가능하게 한다.
• SUMO에서 생성한 합성 마이크로 시뮬레이션 데이터셋을 기반으로 프레임워크를 학습하며, 동적 비상차량 경로 설정과 다양한 연결 차량 비율을 적용한다.

실험 결과

연구 질문

• RQ1 부분적으로 연결된 도심 교통 환경에서 운전자의 행동이 확률적일 경우 동적 큐점프 차선을 효과적으로 어떻게 협력적으로 운영할 수 있는가?
• RQ2 연결된 차량의 비율이 변화함에 따라 DQJL 협력 전략의 성능과 확장성에 어떤 영향을 미치는가?
• RQ3 다중 에이전트 딥 강화학습이 동적인 교통 조건 하에서 실시간으로 안전하고 효율적인 DQJL 형성 전략을 달성할 수 있는가?
• RQ4 간접적 접근과 직접적 접근 방식 간의 다중 에이전트 강화학습에서 훈련 효율성과 협력 효과성은 어떻게 비교되는가?
• RQ5 협력이 전혀 없는 기준 설정과 비교했을 때 DQJL 협력 전략은 비상차량 통과 시간을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 DQJL 협력 시스템은 협력이 없는 기준 설정 대비 도심 도로 링크에서 비상차량 통과 시간을 최대 30% 감소시킨다.
• 직접적 다중 에이전트 강화학습 접근 방식은 더 높은 협력 성능를 달성하지만 간접적 방법 대비 약 4배 더 오랜 훈련 시간이 소요된다.
• 학습된 정책의 평균 의사결정 시간은 5.3ms이며, ≤10ms 메시지 간격을 요구하는 3GPP V2X 통신 표준과 호환된다.
• 비비상차량 수가 증가함에 따라 훈련 시간이 지수적으로 증가함을 확인하여, 차원의 저주 문제로 인한 점차 증가하는 과제를 확인했다.
• 낮은 연결 차량 비율 조건에서도 시스템이 효과적으로 작동함을 입증하여, 부분적으로 연결된 환경에서도 강건함을 입증했다.
• 간접적 및 직접적 접근 모두 기준 설정 대비 뚜렷한 성능 향상을 보이며, 실제 도심 교통 환경에서 협력적 DQJL 형성의 가치를 확인했다.