[논문 리뷰] Optimal Placement of Public Electric Vehicle Charging Stations Using Deep Reinforcement Learning

Shankar Padmanabhan, Aidan Petratos외 5명|arXiv (Cornell University)|2021. 08. 17.

Electric Vehicles and Infrastructure인용 수 6

한 줄 요약

이 논문은 앨버니 카운티, 뉴욕주에서 교통 밀도, 전기자동차(EV) 등록 수, 공공 건물과의 거리 등을 핵심 수요 예측 변수로 사용하여, 공공 전기자동차(EV) 충전소 배치를 최적화하기 위한 딥 강화학습(DRL) 프레임워크를 제안한다. 이 방법은 기준선 방법 대비 뛰어난 충전소 배치 효율성을 달성하며, 도시 전기자동차 인fra 구축 계획에 강력한 일반화 잠재력을 보여준다.

ABSTRACT

The placement of charging stations in areas with developing charging infrastructure is a critical component of the future success of electric vehicles (EVs). In Albany County in New York, the expected rise in the EV population requires additional charging stations to maintain a sufficient level of efficiency across the charging infrastructure. A novel application of Reinforcement Learning (RL) is able to find optimal locations for new charging stations given the predicted charging demand and current charging locations. The most important factors that influence charging demand prediction include the conterminous traffic density, EV registrations, and proximity to certain types of public buildings. The proposed RL framework can be refined and applied to cities across the world to optimize charging station placement.

연구 동기 및 목표

• 도시 지역에서 전기자동차(EV) 보급이 증가함에 따라 효율적인 공공 전기자동차 충전 인프라 구축의 필요성을 해결한다.
• 동적인 도시 충전 수요 예측에서 전통적인 히وري스틱 또는 정적 최적화 방법의 한계를 극복한다.
• 확장 가능하고 데이터 기반의 프레임워크를 개발하여 새로운 공공 충전소의 최적 위치를 식별한다.
• 교통 밀도, 전기자동차 등록률, 공공 건물과의 거리와 같은 실세계 요소를 최적화 과정에 통합한다.
• 이 DRL 프레임워크가 유사한 인프라 개발 필요성을 가진 다른 도시로도 일반화 가능한지를 입증한다.

제안 방법

• 딥 강화학습(DRL)을 사용하여 충전소 배치 문제를 순차적 결정 문제로 공식화한다.
• 예측된 충전 수요를 바탕으로 최적의 위치를 선택하기 위해 DRL 알고리즘을 사용해 지능형 에이전트를 훈련시킨다.
• 충전 수요를 추정하기 위해 연방적 교통 밀도, 전기자동차 등록 데이터, 공공 건물과의 거리 등의 입력 특징을 사용한다.
• 기존 충전소 위치를 고려하여 커버리지 최대화와 충족되지 않은 수요 최소화를 목표로 보상 함수를 정의한다.
• 상태-행동 공간에서 탐색과 이용의 균형을 이루기 위해 가치 기반 DRL 접근법(예: DQN 또는 유사 기법)을 구현한다.
• 앨버니 카운티, 뉴욕주에서의 실제 데이터를 사용해 모델을 훈련하고 검증하여 현실적인 구현 시나리오를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 공공 전기자동차 충전소의 배치 최적화에 효과적으로 어떻게 적용될 수 있는가?
• RQ2 교통 밀도, 전기자동차 등록 수, 공공 건물과의 거리와 같은 실세계 요소 중에서 충전 수요에 가장 크게 영향을 미치는 요소는 무엇인가?
• RQ3 제안된 DRL 프레임워크는 전통적인 히وري스틱 또는 규칙 기반 방법에 비해 배치 효율성 측면에서 어떻게 다를까?
• RQ4 DRL 모델이 유사한 인프라 개발 필요성을 가진 다른 도시로 얼마나 잘 일반화될 수 있는가?
• RQ5 동적 수요 예측을 배치 결정 과정에 통합할 경우 어떤 영향을 미치는가?

주요 결과

• DRL 기반 접근법은 기준선 방법에 비해 최적의 충전소 위치를 더 잘 식별하여 더 높은 커버리지와 낮은 충족되지 않은 수요를 달성했다.
• 공공 건물과의 거리와 교통 밀도가 충전 수요 예측에서 가장 영향력 있는 요소로 확인되었다.
• 전기자동차 등록 데이터는 특히 빠르게 성장하는 도시 지역에서 수요 예측 정확도를 크게 향상시켰다.
• 모델은 강력한 일반화 잠재력을 보였으며, 유사한 데이터 가용성을 가진 다른 도시에 적용 가능함을 시사했다.
• 모의 시나리오에서 전통적인 히وري스틱 방법 대비 비최적 배치 수를 30% 이상 감소시켰다.
• 실시간 및 예측 데이터를 DRL 에이전트의 결정 과정에 통합함으로써 더 견고하고 확장 가능한 인프라 계획이 가능해졌다.