[논문 리뷰] A Reinforcement Learning Approach for Electric Vehicle Routing Problem with Vehicle-to-Grid Supply

Ajay Narayanan, Prasant Misra외 4명|arXiv (Cornell University)|2022. 04. 12.

Electric Vehicles and Infrastructure인용 수 9

한 줄 요약

이 논문은 용량 제약, 시간 창, 차량-전력망(V2G) 방출을 고려한 수송 문제인 전기화물차의 용량 제약이 있는 시간 창이 있는 배송 문제(CEVRPTW-D)를 해결하기 위한 강화학습(RL) 기반 프레임워크 Quik을 제안한다. 이는 배송 경로를 최적화하면서도 피크 수요 시기에 전력망으로 에너지를 방출함으로써 효율성을 높인다. Quik는 MILP 및 유전 알고리즘 기준선 대비 24배 빠른 계산 속도를 기록했으며, 최적해와 20% 이내의 해의 질을 확보하여 대규모 전기차 허브에 대한 확장 가능하고 실시간 경로 설정이 가능함을 입증한다.

ABSTRACT

The use of electric vehicles (EV) in the last mile is appealing from both sustainability and operational cost perspectives. In addition to the inherent cost efficiency of EVs, selling energy back to the grid during peak grid demand, is a potential source of additional revenue to a fleet operator. To achieve this, EVs have to be at specific locations (discharge points) during specific points in time (peak period), even while meeting their core purpose of delivering goods to customers. In this work, we consider the problem of EV routing with constraints on loading capacity; time window; vehicle-to-grid energy supply (CEVRPTW-D); which not only satisfy multiple system objectives, but also scale efficiently to large problem sizes involving hundreds of customers and discharge stations. We present QuikRouteFinder that uses reinforcement learning (RL) for EV routing to overcome these challenges. Using Solomon datasets, results from RL are compared against exact formulations based on mixed-integer linear program (MILP) and genetic algorithm (GA) metaheuristics. On an average, the results show that RL is 24 times faster than MILP and GA, while being close in quality (within 20%) to the optimal.

연구 동기 및 목표

• 마지막 마일 전기화물차 배송의 높은 비용과 복잡성을 줄이기 위해, 수익 창출 수단으로 차량-전력망(V2G) 에너지 공급을 통합한다.
• 용량, 시간 창, V2G 방출 제약 조건 하에서 전기차 경로를 최적화하고 총 이동 비용을 최소화하는 CEVRPTW-D 문제를 모델링하고 해결한다.
• 대규모 전기차 운송에 있어서 정확한 방법(MILP)과 메타휴리스틱(GA)의 확장성 한계를 극복한다.
• 오프라인 훈련을 통해 효율적인 경로 정책을 학습하는 가치 기반 RL 프레임워크를 설계하여, 허브 운영자에게 실시간 의사결정을 가능하게 한다.

제안 방법

• RL 에이전트는 허브 운영자 역할을 하며, 차량-고객 및 차량-에너지 방출 정류장 쌍을 인코딩한 시스템 상태를 관찰한다.
• 상태 공간은 차량 적재량, 시간, 위치, 에너지 수준을 포함한다; 행동 공간은 다음 방문 장소(고객 또는 방출 정류장)를 선택한다.
• 여행 비용을 반영하기 위해 맞춤형 보상 함수를 설계하였으며, V2G 방출 시 에너지 판매 수익과 시간 창 위반에 대한 벌점을 포함한다.
• 상태에서 행동으로의 정책을 학습하기 위해 가치 기반 RL 알고리즘(예: 딥 Q 네트워크 또는 유사 알고리즘)을 사용한다. 이는 누적 할인 보상의 최대화를 목표로 한다.
• 다양한 고객 및 방출 정류장 구성에 일반화하기 위해, Solomon 기준 데이터셋을 기반으로 오프라인으로 모델을 훈련한다.
• 계산 시간과 해의 비용을 핵심 메트릭으로 하여, MILP(정확한 방법) 및 GA(메타휴리스틱) 기준선과의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 강화학습은 용량 및 시간 창 제약 조건 하에서 물품 배송과 차량-전력망 에너지 공급을 통합한 다목적 CEVRPTW-D 문제를 효과적으로 해결할 수 있는가?
• RQ2 대규모 전기차 운송(수백 명의 고객 및 방출 지점 포함)에 있어서, RL 기반 접근법의 계산 효율성은 전통적인 MILP 및 GA 방법과 비교해 어떻게 되는가?
• RQ3 특히 복잡한 운영 제약 조건 하에서, RL 해가 최적의 MILP 해와 비교해 비용 측면에서 얼마나 높은 수준의 해의 질을 유지하는가?
• RQ4 변동하는 수요와 전기 요금에 대응하는 동적 환경에서, RL 프레임워크는 실시간 구현에 적합한가?

주요 결과

• Quik는 고객 및 방출 정류장이 수백 개에 이르는 대규모 인스턴스에서 MILP 및 유전 알고리즘 기준선 대비 평균 24배 더 빠른 계산 속도를 기록한다.
• RL 기반 해는 MILP로 확보한 최적 비용과 약 20% 이내의 수준에서 해의 질을 유지함으로써 뛰어난 근사 최적성( near-optimality) 을 입증한다.
• 프레임워크는 V2G 에너지 방출을 경로 결정에 성공적으로 통합하여, 배송 일정을 손상시키지 않으면서도 피크 수요 시기에 수익을 창출할 수 있도록 한다.
• 가치 기반 RL 접근법은 정확한 방법과 메타휴리스틱 방법의 계산 병목 현상을 극복하며 대규모 문제 인스턴스에 대해 효율적으로 확장 가능하다.
• 보상 설계 전략은 배송 비용, 시간 창 준수, 에너지 수익 간의 균형을 효과적으로 조정하여, 비용 효율적인 정책을 향한 에이전트의 학습을 이끈다.
• 초기 결과는 향후 RL 모델 개선을 통해 최적성 갭을 줄일 수 있을 뿐 아니라, 변화하는 수요에 실시간으로 적응할 수 있음을 시사한다.