[논문 리뷰] V2I Connectivity-Based Dynamic Queue-Jump Lane for Emergency Vehicles: A Deep Reinforcement Learning Approach

Haoran Su, Kejian Shi외 2명|arXiv (Cornell University)|2020. 08. 01.

Traffic control and management참고 문헌 30인용 수 4

한 줄 요약

이 논문은 V2I 연결성을 활용하여 응급차량(EMV)의 응답 시간을 단축하기 위해 딥 강화학습(DRL) 기반의 동적 큐점프 차선(DQJL) 시스템을 제안한다. 운전자 반응의 불확실성을 마르코프 결정 과정으로 모델링하고, 실시간 협력 명령을 내리는 DRL 에이전트를 훈련시킴으로써, 중간 혼잡도 상황에서 EMV 통과 시간을 평균 14.89% 감소시켰으며, SUMO 미세 시뮬레이션에서 벤치마크 전략을 능가한다.

ABSTRACT

Emergency vehicle (EMV) service is a key function of cities and is exceedingly challenging due to urban traffic congestion. A main reason behind EMV service delay is the lack of communication and cooperation between vehicles blocking EMVs. In this paper, we study the improvement of EMV service under V2I connectivity. We consider the establishment of dynamic queue jump lanes (DQJLs) based on real-time coordination of connected vehicles. We develop a novel Markov decision process formulation for the DQJL problem, which explicitly accounts for the uncertainty of drivers' reaction to approaching EMVs. We propose a deep neural network-based reinforcement learning algorithm that efficiently computes the optimal coordination instructions. We also validate our approach on a micro-simulation testbed using Simulation of Urban Mobility (SUMO). Validation results show that with our proposed methodology, the centralized control system saves approximately 15\% EMV passing time than the benchmark system.

연구 동기 및 목표

• 도시 혼잡과 차량 간 협력 부족으로 인한 응급차량(EMV) 응답 시간 지연 증가 문제를 해결하기 위해.
• 실시간 V2I 통신과 연결된 차량 간 협력을 통해 EMV가 교통을 회피할 수 있는 동적 큐점프 차선(DQJL) 전략을 개발하기 위해.
• 실제 도로 환경에서 응급차량 도착에 대한 운전자의 확률적 반응 특성을 모델링하고 이를 고려하기 위해.
• 비상차량에 대한 안전하고 최적이며 해석 가능한 협력 지시를 계산하는 데 적합한 딥 강화학습 프레임워크를 설계하고 검증하기 위해.
• SUMO 미세 시뮬레이션 테스트베드를 사용하여 다양한 교통 밀도 및 속도 조건에서 시스템 성능을 벤치마크와 비교하기 위해.

제안 방법

• 응급차량 도착에 대한 운전자 반응의 불확실성을 명시적으로 모델링하는 마르코프 결정 과정(MDP)으로 DQJL 문제를 수립한다.
• 비상차량을 위한 비상차량 외 차량의 협력 전략을 최적화하기 위해 맞춤형 보상 함수를 갖춘 딥 Q네트워크(DQN) 기반 강화학습 알고리즘을 설계한다.
• 셀룰러 네트워크를 통한 실시간 V2I 통신을 활용해 응급차량 경로를 방송하고 차량 속도 조정을 통해 일시적인 DQJL를 형성한다.
• 시스템의 강건성 테스트를 위해 현실적인 차량 추종 모델과 무작위 초기 차량 위치를 사용한 SUMO에서 시뮬레이션 프레임워크를 구현한다.
• 스토케스틱 교통 환경에서 학습 안정성과 수렴 성능 향상을 위해 경험 재생과 타겟 네트워크를 사용해 DRL 에이전트를 훈련시킨다.
• 차량 위치, 속도 및 응급차량 접근도를 기반으로 상태 공간을 정의하고, 비상차량에 안전하게 양보하기 위한 비상차량 외 차량의 속도 조정 명령을 행동 공간으로 정의한다.

실험 결과

연구 질문

• RQ1 실시간으로 V2I에 연결된 차량은 어떻게 협력하여 응급차량을 위한 동적 큐점프 차선을 형성할 수 있는가?
• RQ2 운전자 반응의 불확실성은 DQJL 협력 전략의 효과성에 어떤 영향을 미치는가?
• RQ3 딥 강화학습 에이전트는 스토케스틱 교통 조건 하에서 안전하고 효과적이며 해석 가능한 협력 지시를 학습할 수 있는가?
• RQ4 DRL 기반 DQJL 시스템의 성능은 벤치마크 협력 전략에 비해 응급차량 통과 시간 측면에서 어떻게 비교되는가?
• RQ5 어떤 교통 조건(예: 밀도, 속도)에서 DRL 기반 DQJL 전략이 가장 효과적인가?

주요 결과

• 중간 혼잡도 상황(12m/veh 간격, 배경 속도 5m/s)에서 DRL 기반 협력 시스템은 벤치마크 시스템 대비 평균 응급차량 통과 시간을 14.89% 감소시켰다.
• 최대 성능 향상은 중간 교통 밀도에서 발생하며, 이 경우 도시 도로 100미터당 약 2.5초의 시간 절감 효과가 있었다.
• 모든 시뮬레이션 런에서 절대적 안전성을 확보하였으며, DQJL 형성 과정에서 충돌이나 안전하지 않은 운전 행동이 발생하지 않았다.
• 성능 향상은 교통이 너무 흐림 또는 너무 혼잡하지 않은 조건에서 가장 두드러지며, DRL 전략의 최적 운영 창을 시사한다.
• 배경 교통 속도가 높을수록 응급차량의 시간 손실이 감소하며, DRL 시스템은 이러한 조건에서 더 빠른 DQJL 형성으로 최대의 이점을 극대화한다.
• DRL 에이전트는 다양한 초기 조건에 대해 잘 일반화되어 있어, 무작위 차량 분포와 동적인 교통 상태에 대한 강건성을 보였다.