[논문 리뷰] A Deep Reinforcement Learning Framework for Eco-driving in Connected and Automated Hybrid Electric Vehicles

Zhaoxuan Zhu, Shobhit Gupta외 2명|arXiv (Cornell University)|2021. 01. 13.

Vehicle emissions and performance참고 문헌 45인용 수 10

한 줄 요약

이 논문은 연결형 및 자율주행 히브리드 전기차(HEVs)의 에코드라이빙 문제를 해결하기 위해 장기 단기 기억(LSTM)을 사용하는 근접 정책 최적화(PPO)를 활용한 딥 강화학습(DRL) 프레임워크를 제안한다. 문제를 부분적으로 관측 가능한 마르코프 결정 과정(POMDP)으로 공식화하고 시뮬레이션된 도시 환경에서 훈련함으로써, DRL 컨트롤러는 인간 주행 기준 대비 연료 소비를 17.5% 감소시켰으며, 이동 시간은 유사하게 유지하였다.

ABSTRACT

Connected and Automated Vehicles (CAVs), in particular those with multiple power sources, have the potential to significantly reduce fuel consumption and travel time in real-world driving conditions. In particular, the Eco-driving problem seeks to design optimal speed and power usage profiles based upon look-ahead information from connectivity and advanced mapping features, to minimize the fuel consumption over a given itinerary. In this work, the Eco-driving problem is formulated as a Partially Observable Markov Decision Process (POMDP), which is then solved with a state-of-art Deep Reinforcement Learning (DRL) Actor Critic algorithm, Proximal Policy Optimization. An Eco-driving simulation environment is developed for training and evaluation purposes. To benchmark the performance of the DRL controller, a baseline controller representing the human driver, a trajectory optimization algorithm and the wait-and-see deterministic optimal solution are presented. With a minimal onboard computational requirement and a comparable travel time, the DRL controller reduces the fuel consumption by more than 17% compared against the baseline controller by modulating the vehicle velocity over the route and performing energy-efficient approach and departure at signalized intersections, over-performing the more computationally demanding trajectory optimization method

연구 동기 및 목표

• 연결형 및 자율주행 히브리드 전기차(CAVs)를 위한 실시간, 계산 효율적인 에코드라이빙 컨트롤러를 딥 강화학습을 통해 개발하기 위해.
• 연결성과 신호등 제약 조건 하에서 고차원적이고 제약 조건이 있는 속도 궤적 및 파wr트레인 제어 최적화 문제를 해결하기 위해.
• DRL 정책을 인간 행동 기반 기준, 결정론적 모델 예측 제어(MPC), 그리고 미리 알 수 있는 최적 해와 비교하기 위해.
• 희박한, 고강도의 벌점으로 교통 신호 준수, 배터리 제약 조건, 연료 효율성 등을 강제하는 보상 함수를 설계하기 위해.
• 실제 구현에 적합한 저차원의 차량 내 계산 부담을 갖는 '학습은 오프라인, 실행은 온라인' 전략을 가능하게 하기 위해.

제안 방법

• 교통 신호 및 차량 상태의 불확실성을 모델링하기 위해 에코드라이빙 문제를 부분적으로 관측 가능한 마르코프 결정 과정(POMDP)으로 공식화하기 위해.
• 시간적 의존성을 포착하기 위해 함수 근사기로 장기 단기 기억(LSTM) 네트워크를 사용하는 근접 정책 최적화(PPO) 알고리즘을 활용한 딥 강화학습(DRL) 에이전트를 구현하기 위해.
• 정규화된 제약 기반 구성 요소를 포함하는 종합적인 보상 함수를 설계하기 위해: $ r_{\text{vel}} $, $ r_{\text{batt}} $, $ r_{\text{tfc}} $, 및 $ r_{\text{obj}} $, 제약 위반 벌점은 성능 보상보다 수개 차수만큼 크다.
• 실제 도시 및 고속도로 시나리오를 위한 고정밀 시뮬레이션 환경에서 훈련하기 위해, 경미한 HEV 파워트레인 모델과 SUMO 기반 미세 수준의 교통 시뮬레이션을 결합하기 위해.
• 샘플 효율성과 수렴 안정성을 향상시키기 위해 40개의 CPU와 1개의 GPU를 활용한 병렬 훈련을 수행하기 위해.
• 일반화된 이점 추정(GAE)과 엔트로피 정규화를 사용한 절단된 시간 차분 학습을 적용하여 정책 탐색 및 안정성을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 DRL 기반 컨트롤러는 인간 운전자의 기준과 유사한 이동 시간을 유지하면서 연결형 및 자율주행 히브리드 전기차에서 상당한 연료 절감을 달성할 수 있는가?
• RQ2 실제 주행 조건에서 DRL 컨트롤러의 성능은 인간 유사 기준, 결정론적 MPC 방법, 그리고 미리 알 수 있는 최적 해와 비교해 어떻게 되는가?
• RQ3 희박한 보상 구조를 가진 학습된 정책이 교통 신호 위반을 효과적으로 방지하고 배터리 제약 조건을 유지하는 데 얼마나 효과적인가?
• RQ4 DRL 정책은 하이퍼파rameter 변화에 얼마나 강건한가? PPO 알고리즘은 최소한의 튜닝으로 안정적인 훈련을 보장하는가?
• RQ5 이 프레임워크는 개인화된 주행 행동이나 생태적 적응형 크루즈 컨트롤(ACC) 시나리오에서 선도 차량 상호작용을 포함하도록 확장할 수 있는가?

주요 결과

• DRL 컨트롤러는 도시, 혼합 도시 및 고속도로 조건에서 100개의 무작위로 생성된 주행 코스에 대해 인간 주행 기준 대비 평균 연료 소비를 17.5% 감소시켰다.
• DRL 정책은 기준과 유사한 이동 시간을 유지하여, 연료 효율성 향상에 따른 주행 시간 증가 없이 성능을 확보하였다.
• DRL 컨트롤러는 더 높은 차량 내 계산 요구 사항을 갖는 결정론적 MPC 방법보다도 연료 경제성에서 뛰어난 성능을 보였다.
• 고강도의 제약 벌점(예: $ c_{\text{batt}} = -10 $)을 포함하는 보상 함수 설계가 배터리 상태 및 교통 신호 준수를 성공적으로 강제하여 제약 위반을 최소화하였다.
• LSTM 기반 함수 근사기와 함께 PPO 알고리즘이 다양한 교통 시나리오에서 강건한 성능을 보였으며, 하이퍼파rameter 튜닝에 대해 거의 민감하지 않았다.
• 시뮬레이션 환경은 신호등 교차로, 지형 변화, 교통 동역학성 등의 실제 복잡성을 성공적으로 구현하여 신뢰할 수 있는 정책 훈련 및 평가를 가능하게 하였다.