[논문 리뷰] Cooperative Highway Work Zone Merge Control based on Reinforcement Learning in A Connected and Automated Environment

Tianzhu Ren, Yuanchang Xie외 1명|arXiv (Cornell University)|2020. 01. 21.

Traffic control and management참고 문헌 21인용 수 5

한 줄 요약

이 논문은 연결 및 자율 주행 차량 환경에서 고속도로 공사 현장의 협동형 병합 제어 전략을 강화 학습 기반으로 제안한다. 오프-폴리시 소프트 액터-크리틱(SAC) 강화 학습을 사용하여 폐쇄된 차선의 차량들이 실시간 교통 데이터를 활용해 안전하게 병합하기 위한 최적의 위치를 학습하고, 개방된 차선에 위치한 두 개의 메터링 존이 병합 효율을 향상시킨다. 이 방법은 이동성과 안전성 측면에서 기존의 늦은 병합 및 일찍 병합 전략보다 뚜렷이 뛰어나다.

ABSTRACT

Given the aging infrastructure and the anticipated growing number of highway work zones in the United States, it is important to investigate work zone merge control, which is critical for improving work zone safety and capacity. This paper proposes and evaluates a novel highway work zone merge control strategy based on cooperative driving behavior enabled by artificial intelligence. The proposed method assumes that all vehicles are fully automated, connected and cooperative. It inserts two metering zones in the open lane to make space for merging vehicles in the closed lane. In addition, each vehicle in the closed lane learns how to optimally adjust its longitudinal position to find a safe gap in the open lane using an off-policy soft actor critic (SAC) reinforcement learning (RL) algorithm, considering the traffic conditions in its surrounding. The learning results are captured in convolutional neural networks and used to control individual vehicles in the testing phase. By adding the metering zones and taking the locations, speeds, and accelerations of surrounding vehicles into account, cooperation among vehicles is implicitly considered. This RL-based model is trained and evaluated using a microscopic traffic simulator. The results show that this cooperative RL-based merge control significantly outperforms popular strategies such as late merge and early merge in terms of both mobility and safety measures.

연구 동기 및 목표

• 노후화된 인프라와 증가하는 교통량으로 인해 고속도로 공사 현장에서 증가하는 안전성 및 용량 문제를 해결하기 위해.
• 연결 및 자율 주행 차량을 활용하여 공사 현장에서 교통 흐름과 안전성을 향상시키는 협동형 병합 제어 전략을 개발하기 위해.
• 동적인 교통 조건에 기반한 실시간 적응형 병합 결정을 위해 강화 학습을 활용하기 위해.
• 기존의 늦은 병합 및 일찍 병합 전략과 비교하여 제안된 방법의 성능을 평가하기 위해.
• 모의 환경에서 암묵적 협동을 통한 차량 간 협력을 통합함으로써 효과성을 입증하기 위해.

제안 방법

• 개방된 차선에 두 개의 메터링 존을 도입하여 폐쇄된 차선에서 오는 차량이 병합할 수 있는 통제된 간격을 생성한다.
• 폐쇄된 차선의 각 차량은 오프-폴리시 소프트 액터-크리틱(SAC) 강화 학습 알고리즘을 사용하여 최적의 종방향 위치를 학습한다.
• 강화 학습 에이전트는 주변 차량의 위치, 속도, 가속도를 상태 입력으로 관측하여 실시간 병합 결정을 내린다.
• 정책은 공간-시간적 교통 패턴을 포착하는 컨볼루션 신경망으로 표현되어 결정 내림에 활용된다.
• 모델은 미세한 교통 시뮬레이션 환경을 사용하여 훈련 및 검증되어 실제 조건 하에서의 성능를 평가한다.
• 차량 간 협동은 공유된 환경 상태 관측과 조율된 간격 찾기 행동을 통해 암묵적으로 달성된다.

실험 결과

연구 질문

• RQ1 협동형 RL 기반 병합 제어 전략은 이동성과 안전성 측면에서 기존의 늦은 병합 및 일찍 병합 전략과 비교하여 어떻게 다른가?
• RQ2 개방된 차선에 위치한 메터링 존이 병합 효율을 얼마나 향상시키고 충돌 위험을 줄이는가?
• RQ3 오프-폴리시 SAC 알고리즘이 동적인 공사 현장 환경에서 안전하고 효율적인 병합 행동을 효과적으로 학습할 수 있는가?
• RQ4 차량 간 협동과 실시간 교통 상태 인식은 병합 성능에 어떤 영향을 미치는가?
• RQ5 이러한 맥락에서 교통 상태를 인코딩하기 위해 컨볼루션 신경망을 사용할 경우 어떤 영향을 미치는가?

주요 결과

• 제안된 RL 기반 전략은 늦은 병합 및 일찍 병합 전략에 비해 이동성 지표인 주행 시간과 통과량을 크게 향상시킨다.
• 최적의 간격 선택과 조율된 병합으로 인해 충돌 위험과 충돌 빈도 측정 기준의 안전성 성능이 크게 향상된다.
• 개방된 차선에 위치한 메터링 존의 사용은 예측 가능하고 통제된 병합 기회를 제공함으로써 병합 효율을 향상시킨다.
• 소프트 액터-크리틱(SAC) 알고리즘이 안정적이고 샘플 효율적인 학습을 보이며, 빠른 수렴을 가능하게 한다.
• 컨볼루션 신경망은 공간-시간적 교통 상태를 효과적으로 인코딩하여 에이전트가 다양한 교통 조건에서 일반화할 수 있도록 한다.
• 모의 실험 결과는 RL을 통한 협동 행동이 공사 현장에서 보다 부드러운 교통 흐름과 갑작스러운 조작을 줄이는 데 기여함을 확인한다.