[논문 리뷰] Eco-driving for Electric Connected Vehicles at Signalized Intersections: A Parameterized Reinforcement Learning approach

Xia Jiang, Jian Zhang외 1명|arXiv (Cornell University)|2022. 06. 24.

Traffic control and management참고 문헌 43인용 수 4

한 줄 요약

이 논문은 신호등 제어 교차로에서 전기 연결 차량의 에코드라이빙을 위한 파rameterized 강화학습(PRL) 프레임워크를 제안한다. 이 프레임워크는 계층적 행동 공간을 통해 종방향 및 횡방향 제어를 통합적으로 최적화하고, 모델 기반의 차량 따라하기 및 차선 변경 정책을 통합한다. 이 방법은 인간 운전 차량(HDVs)의 교통 흐름을 방해하지 않으면서 비좌표 신호 설정 환경에서 에너지 소비를 최대 27.13% 감소시킨다.

ABSTRACT

This paper proposes an eco-driving framework for electric connected vehicles (CVs) based on reinforcement learning (RL) to improve vehicle energy efficiency at signalized intersections. The vehicle agent is specified by integrating the model-based car-following policy, lane-changing policy, and the RL policy, to ensure safe operation of a CV. Subsequently, a Markov Decision Process (MDP) is formulated, which enables the vehicle to perform longitudinal control and lateral decisions, jointly optimizing the car-following and lane-changing behaviors of the CVs in the vicinity of intersections. Then, the hybrid action space is parameterized as a hierarchical structure and thereby trains the agents with two-dimensional motion patterns in a dynamic traffic environment. Finally, our proposed methods are evaluated in SUMO software from both a single-vehicle-based perspective and a flow-based perspective. The results show that our strategy can significantly reduce energy consumption by learning proper action schemes without any interruption of other human-driven vehicles (HDVs).

연구 동기 및 목표

• 신호등 제어 교차로에서 전기 연결 차량(CVs)의 에너지 효율성을 향상시키기 위한 지능형 제어를 통해.
• 동적인 교통 환경에서 규칙 기반 및 최적화 기반의 에코드라이빙 전략의 한계를 해결하기 위해.
• 종방향 및 횡방향 차량 결정을 통합적으로 최적화하는 학습 기반 제어 프레임워크를 개발하기 위해.
• 혼합 교통 환경에서 CV 배치 시 인간 운전 차량(HDVs)에 대한 최소한의 교란을 확보하기 위해.
• CV의 시장 점유율(MPR) 및 교통량 변화에 따라 제안된 방법의 확장성과 내구성을 평가하기 위해.

제안 방법

• 교차로에서 종방향 및 횡방향 제어 결정을 모델링하기 위해 마르코프 결정 과정(MDP)을 수립한다.
• 이중 차원 운동 패tern을 표현하기 위해 계층적 구조로 파arameterized된 하이브리드 행동 공간을 도입한다.
• 모델 기반의 차량 따라하기 및 차선 변경 정책을 파arameterized 딥 강화학습(PRL) 에이전트와 통합한다.
• 정책 학습을 이끄는 단계별 보상과 종료 보상을 조합한 복합 보상 함수를 활용한다.
• SPaT(Signal Phase and Timing) 데이터를 기반으로 최적의 속도 프로파일 및 차선 변경 결정을 학습하기 위해 딥 강화학습을 사용해 PRL 에이전트를 훈련시킨다.
• 좌표 및 비좌표 신호 설정 환경에서 단일 에이전트 및 다중 에이전트 시나리오를 모두 고려한 SUMO 시뮬레이션을 통해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 파arameterized 강화학습 프레임워크는 신호등 제어 교차로에서 전기 연결 차량의 에너지 소비를 효과적으로 줄일 수 있는가?
• RQ2 에너지 효율성과 안정성 측면에서 제안된 PRL 기반 방법은 DQN 및 DDPG에 비해 어떻게 비교되는가?
• RQ3 CV가 배치될 경우 프레임워크는 인간 운전 차량(HDVs)의 교통 효율성을 어느 정도 유지하는가?
• RQ4 CV의 시장 점유율(MPR)이 교통 시스템의 전체 에너지 소비 및 이동성 성능에 어떤 영향을 미치는가?
• RQ5 좌표 신호 환경과 비좌표 신호 환경 중 어느 곳에서 더 뛰어난 성능을 발휘하는가?

주요 결과

• CV의 MPR가 1일 경우, 순수한 HDV 시나리오 대비 평균 전기 소비가 13.8% 감소한다.
• 비좌표 신호 설정 환경에서, 기준 전략 대비 에너지 소비가 27.13% 감소한다.
• 좌표 신호 설정 환경에서는 기준 전략 대비 에너지 소비가 4.1% 감소하여, 다양한 유형의 신호 환경에서 일관된 성능을 보였다.
• 다양한 MPR 수준과 교통량에서 HDV의 평균 속도가 안정적으로 유지되어 인간 운전 차량의 교통 흐름에 큰 영향을 주지 않았다.
• 다이나믹한 교통 조건 하에서 PRL 컨트롤러는 DQN 및 DDPG보다 에너지 효율성과 안정성 측면에서 뛰어난 성능을 보였다.
• 높은 MPR 수준에서도 속도 감소가 최소한이어서 이동성 희생이 거의 없었으며, 실세계 적용 가능성은 확인되었다.