[논문 리뷰] Differential Variable Speed Limits Control for Freeway Recurrent Bottlenecks via Deep Reinforcement learning

Yuankai Wu, Huachun Tan외 1명|arXiv (Cornell University)|2018. 10. 25.

Traffic control and management참고 문헌 7인용 수 18

한 줄 요약

이 논문은 고속도로 차선에 대해 다양한 속도 제한을 동적으로 할당하는 새로운 액터-크리틱 아키텍처를 사용한 딥 강화학습(DRL) 기반의 차등 속도제한(DVSL) 제어 시스템을 제안한다. 이 방법은 연속된 행동 공간에서 최적의 속도 제한 정책을 학습함으로써 교통 효율성, 안전성 및 배기가스 배출 감소를 향상시킨다. 다수의 보상 신호를 기반으로 훈련된 DDPG 모델은 고연결 및 자율주행차(CAV) 시뮬레이션 환경에서 정적 또는 균일한 VSL 전략에 비해 뛰어난 성능을 보였다.

ABSTRACT

Variable speed limits (VSL) control is a flexible way to improve traffic condition,increase safety and reduce emission. There is an emerging trend of using reinforcement learning technique for VSL control and recent studies have shown promising results. Currently, deep learning is enabling reinforcement learning to develope autonomous control agents for problems that were previously intractable. In this paper, we propose a more effective deep reinforcement learning (DRL) model for differential variable speed limits (DVSL) control, in which the dynamic and different speed limits among lanes can be imposed. The proposed DRL models use a novel actor-critic architecture which can learn a large number of discrete speed limits in a continues action space. Different reward signals, e.g. total travel time, bottleneck speed, emergency braking, and vehicular emission are used to train the DVSL controller, and comparison between these reward signals are conducted. We test proposed DRL baased DVSL controllers on a simulated freeway recurrent bottleneck. Results show that the efficiency, safety and emissions can be improved by the proposed method. We also show some interesting findings through the visulization of the control policies generated from DRL models.

연구 동기 및 목표

• 재발성 고속도로 정체를 완화하기 위해 다수의 차선에 대해 데이터 기반으로 적응 가능한 DVSL 제어 전략을 개발한다.
• 규칙 기반 또는 예측 기반 VSL 시스템의 한계를 극복하기 위해 딥 강화학습을 활용해 사전적이고 실시간 제어를 가능하게 한다.
• 여행 시간, 안전성, 배기가스와 같은 다양한 보상 신호가 DRL 기반 DVSL 컨트롤러의 성능 및 해석 가능성에 미치는 영향을 평가한다.
• 합류 영역의 다양한 교통 조건에 대한 속도 제한 반응을 시각화함으로써 DRL 정책의 해석 가능성 향상.
• 차량 준수율이 거의 완벽할 것으로 기대되는 고수준 CAV 침투율 환경에서 DVSL의 실현 가능성과 효과성을 입증한다.

제안 방법

• 다양한 차선에 대해 연속된 행동 공간 정책을 학습하기 위해 딥 디터민리스틱 정책 그래디언트(DDPG) 기반의 액터-크리틱 프레임워크를 사용한다.
• 상태 표현에는 상류, 합류 영역 및 램프의 교통 점유율이 포함되어 있어 에이전트가 지역적 정체 역학을 인지할 수 있도록 한다.
• 네트워크 기반 액터는 교통 상태 입력에 반응하여 차선별로 속도 제한을 생성하며, 동적이고 이질적인 속도 제어를 가능하게 한다.
• 합류 영역 점유율이 다양한 조건으로 설정된 상태 입력을 시뮬레이션하고 해당하는 속도 제한 출력을 관찰함으로써 정책의 해석 가능성 분석을 수행한다.
• 프레임워크는 고정밀 시뮬레이션을 통해 재발성 고속도로 정체 상황을 고려한 고수준 CAV 침투율 환경에서 평가되며, 동적 속도 제한의 정확한 시행이 가능하다.

실험 결과

연구 질문

• RQ1 DRL 기반 DVSL 컨트롤러는 정적 또는 균일한 VSL 전략에 비해 정체를 줄이고 교통 효율성을 향상시키는 데 어떻게 비교되는가?
• RQ2 여행 시간, 안전성, 배기가스와 같은 다양한 보상 함수가 DRL 에이전트의 성능 및 정책 구조에 어떤 영향을 미치는가?
• RQ3 자유 흐름 조건에서도 DRL 에이전트는 차선 간 다른 속도 제한을 설정할 수 있으며, 이는 교통 상호작용 완화에 어떤 의미를 갖는가?
• RQ4 학습된 DVSL 정책은 얼마나 해석 가능하며, 어떤 보상 신호가 가장 투명하고 논리적으로 일관된 제어 행동을 유도하는가?
• RQ5 고수준 CAV 환경에서 DVSL 제어는 비상 브레이킹 사건과 차량 배기가스를 얼마나 줄일 수 있는가?

주요 결과

• DRL 기반 DVSL 컨트롤러는 총 이동 시간을 줄이는 데 있어 정적 및 균일한 VSL 전략보다 뚜렷하게 뛰어난 성능을 보였으며, 모든 보상 기반 모델에서 개선 효과가 관찰되었다.
• DDPG- $ r^1 $ 모델은 총 이동 시간을 보상으로 훈련하여 가장 해석 가능하고 논리적으로 일관된 속도 제한 정책을 생성했으며, 왼쪽 차선에서는 높은 속도를 유지하고, 합류 영역 점유율이 20%를 초과할 경우에만 중앙 차선의 제한을 낮추는 방식을 취했다.
• 모든 DRL 기반 DVSL 모델은 기준 전략 대비 비상 브레이킹 사건과 차량 배기가스를 감소시켜 안전성 향상 및 환경적 이점이 있음을 시사한다.
• 속도 제한 정책의 상관 분석 결과, 단순한 보상 신호(예: $ r^1 $)로 훈련된 모델이 복잡한 다목적 보상으로 훈련된 모델보다 더 일관되고 예측 가능한 제어 행동을 보였다.
• 신경망 에이전트는 정체가 발생하기 전에 유입 위험이 높은 차선의 속도 제한을 사전에 낮추는 능력을 습득하여 사전 제어 능력을 입증했다.
• 시각화 결과, DVSL 정책이 합류 영역 점유율에 민감하게 반응하며, 왼쪽 차선은 항상 높은 속도를 유지함으로써 차선 변경 갈등을 효과적으로 완화하고 있음을 나타냈다.