[논문 리뷰] A SUMO Framework for Deep Reinforcement Learning Experiments Solving Electric Vehicle Charging Dispatching Problem

Yaofeng Song, Han Zhao외 4명|arXiv (Cornell University)|2022. 09. 07.

Transportation and Mobility Innovations인용 수 10

한 줄 요약

이 논문은 전기자동차(EV) 충전 배정을 위한 딥 강화학습(DRL) 알고리즘 평가를 위한 SUMO 기반 시뮬레이션 프레임워크를 제시한다. 실생활 도시 교통 환경에 DRL 에이전트(DQN 및 듀얼 DQN)를 통합하여 EV가 충전소까지 이동하는 데 소요되는 총 이동 시간을 최소화한다. 그 결과, 고밀도 EV 환경에서 듀얼 DQN이 DQN 대비 총 이동 시간을 39% 감소시킴을 입증하였다.

ABSTRACT

In modern cities, the number of Electric vehicles (EV) is increasing rapidly for their low emission and better dynamic performance, leading to increasing demand for EV charging. However, due to the limited number of EV charging facilities, catering to the huge demand for time-consuming EV charging becomes a critical problem. It is quite a challenge to dispatch EVs in the dynamic traffic environment and coordinate interaction among agents. To better serve further research on various related Deep Reinforcment Learning (DRL) EV dispatching algorithms, an efficient simulation environment is necessary to ensure success. As simulator Simulation Urban Mobility (SUMO) is one of the most widely used open-source simulators, it has great significance in creating an environment that satisfies research requirements on SUMO. We aim to improve the efficiency of EV charging station usage and save time for EV users in further work. As a result, we design an EV navigation system on the basis of the traffic simulator SUMO using Jurong Area, Singapore in this paper. Various state-of-the-art DRL algorithms are deployed on the designed testbed to validate the feasibility of the framework in terms of EV charging dispatching problems. Besides EV dispatching problems, the environment can also serve for other reinforcement learning (RL) traffic control problems

연구 동기 및 목표

• 제한된 충전 인프라와 동적인 교통 조건으로 인해 도시 지역에서 EV 충전 수요 증가 문제를 해결하기 위해.
• SUMO를 사용하여 DRL 기반 EV 배정 알고리즘 연구를 지원할 수 있는 확장 가능하고 현실적인 시뮬레이션 환경을 개발하기 위해.
• EV 충전소까지의 이동 시간을 최소화하기 위해 다양한 DRL 알고리즘(DQN 및 듀얼 DQN)의 성능을 평가하기 위해.
• 향후 연구를 위한 재현 가능한 테스트베드를 구축하여 지능형 교통 시스템에서의 강화학습 연구, 특히 다중 에이전트 및 교통 예측 통합을 지원하기 위해.
• 동적인 도시 교통 네트워크에서 네비게이션과 배정을 최적화하여 EV 충전 효율성과 사용자 경험을 향상시키기 위해.

제안 방법

• 싱가포르 주르ונג 웨스트 지역을 실제 도시 교통 시나리오로 활용하여, 오픈소스 교통 시뮬레이터 SUMO 내에서 맞춤형 EV 네비게이션 환경을 구축하였다.
• 랜덤 선택, 그리디 선택, DQN, 듀얼 DQN의 네 가지 배정 전략을 구현하여 대상 EV를 충전소로 유도하였다.
• 실시간 교통 및 충전소 상태를 관찰할 수 있는 강화학습 에이전트를 설계하였으며, 상태 표현으로 차량 위치, 충전소까지의 거리, 대기열 길이 등을 포함하였다.
• 학습률 0.01, 배치 크기 32, 타겟 네트워크 업데이트 주기 8000단계로 Adam 옵티마이저를 사용하여 DQN 및 듀얼 DQN 에이전트를 훈련시켰다.
• 10,000 크기의 리PLAY 버퍼와 에psilon-그리디 탐색(1에서 0.1로 감소)을 사용하여 훈련 안정성과 탐색 성능을 향상시켰다.
• 각 시나리오당 50개의 에피소드를 시뮬레이션하였으며, 각 에피소드는 24시간(1일) 동안 지속되었고, EV 수를 200, 300, 400으로 설정하여 교통 부하 증가 상황에서의 확장성 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 SUMO 기반 시뮬레이션 프레임워크는 현실적인 도시 교통 조건에서 DRL 알고리즘의 EV 충전 배정 평가를 효과적으로 지원할 수 있는가?
• RQ2 DRL 기반 배정 전략(DQN 및 듀얼 DQN)은 히وري스틱 방법(RND 및 그리디)에 비해 충전소까지의 EV 이동 시간을 얼마나 효과적으로 줄일 수 있는가?
• RQ3 EV 밀도와 교통 복잡성이 증가함에 따라 DRL 모델의 성능이 향상되는가? 만약 그렇다면, 그 정도는 어느 정도인가?
• RQ4 동적인 교통 환경에서 듀얼 DQN 아키텍처는 표준 DQN에 비해 네비게이션 효율성과 수렴 속도 측면에서 얼마나 뛰어난가?
• RQ5 제안된 프레임워크는 다중 에이전트 DRL 및 교통 예측 모델 통합을 통해 향상된 실시간 의사결정을 지원하도록 확장될 수 있는가?

주요 결과

• SUMO 기반 시뮬레이션 프레임워크는 EV 충전 배정을 위한 다수의 DRL 알고리즘 배포 및 평가를 성공적으로 지원하였다.
• EV 수가 400대로 증가한 상황에서 듀얼 DQN은 DQN 대비 총 이동 시간을 39% 감소시켜 고밀도 교통 환경에서 뛰어난 성능을 입증하였다.
• 400대 EV 시나리오에서 듀얼 DQN은 시뮬레이션 이동 시간을 843초로 줄였고, DQN(1,387초), 랜덤 배정(1,955초), 그리디 배정(1,648초)을 모두 앞섰다.
• DQN과 듀얼 DQN은 모두 실시간 교통 상태와 상태 인식 기반의 의사결정 및 동적 교통 조건 학습을 통해 랜덤 및 그리디 배정 전략을 뛰어넘는 성능을 보였다.
• 프레임워크는 강건하고 확장 가능했으며, EV 밀도 증가에 따라 일관된 성능 향상이 관찰되어 향후 지능형 교통 시스템에서의 강화학습 연구에 적합함을 입증하였다.
• 결과는 DRL 기반 네비게이션 전략이 실시간 교통 및 충전소 대기열 정보를 고려함으로써 EV 이동 시간을 효과적으로 최소화할 수 있음을 확인하였으며, 사용자 경험 향상과 인프라 활용도 향상에 기여한다.