[논문 리뷰] Hybrid Reinforcement Learning-Based Eco-Driving Strategy for Connected and Automated Vehicles at Signalized Intersections

Zhengwei Bai, Hao Peng외 3명|arXiv (Cornell University)|2022. 01. 19.

Traffic control and management인용 수 4

한 줄 요약

이 논문은 혼잡한 교차로에서 연결형 자율주행차(CAVs)의 에코드라이빙을 가능하게 하기 위해 규칙 기반 전략과 딥 강화학습을 융합한 하이브리드 강화학습(HRL) 프레임워크를 제안한다. 시각 인식 데이터와 V2I 통신을 융합함으로써 HRL 모델은 종방향 및 횡방향 주행 동작을 최적화하여, Unity 기반 시뮬레이션에서 최신의 모델 기반 접근 방식 대비 에너지 소비를 12.70% 감소시키고, 이동 시간을 11.75% 단축시킨다.

ABSTRACT

Taking advantage of both vehicle-to-everything (V2X) communication and automated driving technology, connected and automated vehicles are quickly becoming one of the transformative solutions to many transportation problems. However, in a mixed traffic environment at signalized intersections, it is still a challenging task to improve overall throughput and energy efficiency considering the complexity and uncertainty in the traffic system. In this study, we proposed a hybrid reinforcement learning (HRL) framework which combines the rule-based strategy and the deep reinforcement learning (deep RL) to support connected eco-driving at signalized intersections in mixed traffic. Vision-perceptive methods are integrated with vehicle-to-infrastructure (V2I) communications to achieve higher mobility and energy efficiency in mixed connected traffic. The HRL framework has three components: a rule-based driving manager that operates the collaboration between the rule-based policies and the RL policy; a multi-stream neural network that extracts the hidden features of vision and V2I information; and a deep RL-based policy network that generate both longitudinal and lateral eco-driving actions. In order to evaluate our approach, we developed a Unity-based simulator and designed a mixed-traffic intersection scenario. Moreover, several baselines were implemented to compare with our new design, and numerical experiments were conducted to test the performance of the HRL model. The experiments show that our HRL method can reduce energy consumption by 12.70% and save 11.75% travel time when compared with a state-of-the-art model-based Eco-Driving approach.

연구 동기 및 목표

• 기존의 규칙 기반 또는 모델 기반 방법이 비현실적인 가정으로 인해 실패하는 신호등 제어 교차로에서 혼잡한 교통 환경에서 이동성과 에너지 효율성을 향상시키는 데 도전하는 것.
• 규칙 기반 안전성과 효율성과 딥 RL을 융합한 하이브리드 강화학습 프레임워크를 개발하여 복잡한 교통 환경에서 적응적이고 실시간으로 에코드라이빙을 구현하는 것.
• V2I 통신과 차량 내 센서(카메라, 레이더)를 활용하여 상황 인식 능력을 향상시키고, 에너지 효율적인 차량 궤적을 공동으로 제어하는 것.
• 다양한 교통 침투율과 신호 제어 조건 하에서 실제 시뮬레이션 환경에서 HRL 프레임워크를 평가하는 것.
• 기존의 모델 기반 및 그래프 기반 에코드라이빙 방법에 비해 에너지 절감과 이동 시간 단축 측면에서 뛰어난 성능을 입증하는 것.

제안 방법

• HRL 프레임워크는 안전성과 효율성을 보장하기 위해 규칙 기반 정책과 딥 RL 정책 간을 조율하는 규칙 기반 주행 관리자로 구성된다.
• 다중 스트림 신경망은 전방 카메라, 차량 내 레이더, OBD, V2I 신호에서 유래한 시공간 데이터를 처리하여 의사결정에 활용할 수 있는 숨겨진 특징을 추출한다.
• 장단기 보상(LSTR) 모델을 사용하여 즉각적이고 장기적인 이점을 균형 있게 고려하는 딥 RL 기반 정책 네트워크가 종방향 가속도 및 횡방향 차선 목표 동작을 생성한다.
• 시스템은 연결형 자율주행차(CAVs)와 인간 운전 차량(HVs)이 포함된 혼잡한 교차로 시나리오를 갖춘 Unity 기반 시뮬레이터에서 훈련 및 평가된다.
• V2I를 통해 얻은 신호 단계 및 시간(SPaT) 및 기하학적 교차로 기술(GID) 데이터를 활용해 신호 변화를 예측하고 접근 속도를 최적화한다.
• 성능 평가 기준은 그래프 기반 모델과 인텔리전트 드라이버 모델(IDM)이며, 탈락 실험을 통해 재생 에너지 브레이킹 기능을 통한 강인성 검증이 이루어진다.

실험 결과

연구 질문

• RQ1 혼잡한 교차로에서 규칙 기반 안전성과 딥 RL을 융합한 하이브리드 강화학습 프레임워크가 에코드라이빙에 효과적으로 작용할 수 있는가?
• RQ2 V2I와 차량 내 시각 데이터 융합이 순수 모델 기반 또는 규칙 기반 방법에 비해 에너지 효율성과 이동 시간 향상에 어떻게 기여하는가?
• RQ3 다양한 신호 제어 조건과 차량 침투율이 HRL 기반 에코드라이빙 전략의 성능에 미치는 영향은 무엇인가?
• RQ4 실제 혼잡한 교통 조건 하에서 최신의 모델 기반 접근 방식에 비해 HRL 모델이 더 뛰어난 에너지 및 시간 효율성을 달성하는가?
• RQ5 입구 속도와 시점 측면에서 HRL 모델의 최적 운영 영역은 어디이며, 이는 성능에 어떻게 영향을 미치는가?

주요 결과

• 모든 21개 테스트 시나리오에서 HRL 방법은 최신의 그래프 기반 모델 대비 평균 에너지 소비를 12.70% 감소시키고, 이동 시간을 11.75% 단축시켰다.
• 가장 유리한 조건(입구 속도 30 km/h, 신호 단계 C50)에서 HRL 모델은 그래프 기반 방법 대비 에너지 소비를 42.94% 감소시키고, 이동 시간을 55.83% 단축시켰다.
• 재생 에너지 브레이킹 기능을 활성화한 경우, HRL 방법은 그래프 기반 모델 대비 에너지 소비를 23.60% 감소시키고, IDM 대비 41.59% 감소시켜 강인성과 확장성을 확인했다.
• 에너지 소비 측면에서 21개 시나리오 전부, 이동 시간 측면에서 27개 시나리오 전부에서 HRL 프레임워크가 IDM를 능가하여 일관된 우월성을 입증했다.
• 성능 향상 히트맵 분석 결과, 차량이 중간 속도와 최적의 시간에 교차로에 진입할 경우 HRL 모델이 가장 뛰어난 성능을 보이며, 명확한 성능 최적 영역이 존재함을 시사했다.
• 다양한 신호 단계와 교통 조건 하에서도 HRL 프레임워크는 일관된 성능 향상을 유지하여, 동적인 혼잡한 교통 환경에서의 적응 가능성과 타당성을 입증했다.