[논문 리뷰] Charging control of electric vehicles using contextual bandits considering the electrical distribution grid

Christian Römer, Johannes Hiry외 3명|arXiv (Cornell University)|2019. 04. 10.

Electric Vehicles and Infrastructure참고 문헌 15인용 수 6

한 줄 요약

이 논문은 저압 배전망에서 과부하를 방지하기 위해 동적 가격 및 전력 수준을 조정하는 컨텍스트 밴딧 기반 전기자동차 충전 제어 시스템을 제안한다. SUMO와 SIMONA 시뮬레이터를 통합함으로써, 비제어적 충전 대비 피크 변압기 부하를 최대 70% 감소시키고 평균 부하를 12% 감소시켰으며, Q-러닝과 같은 컨텍스트 없는 강화학습 방법보다 뛰어난 성능을 보였다.

ABSTRACT

With the proliferation of electric vehicles, the electrical distribution grids are more prone to overloads. In this paper, we study an intelligent pricing and power control mechanism based on contextual bandits to provide incentives for distributing charging load and preventing network failure. The presented work combines the microscopic mobility simulator SUMO with electric network simulator SIMONA and thus produces reliable electrical distribution load values. Our experiments are carefully conducted under realistic conditions and reveal that conditional bandit learning outperforms context-free reinforcement learning algorithms and our approach is suitable for the given problem. As reinforcement learning algorithms can be adapted rapidly to include new information we assume these to be suitable as part of a holistic traffic control scenario.

연구 동기 및 목표

• 비제어적 전기자동차(EV) 충전으로 인한 증가하는 전력 배전망 과부하 위험을 해결하기 위해.
• 동적 가격 설정과 전력 조절을 통해 부하 분산을 유도하는 스마트 충전 제어 메커니즘을 개발하기 위해.
• 실제 그리드 시뮬레이션 환경에서 컨텍스트 밴딧 알고리즘의 효과성을 평가하기 위해.
• 실제 교통 및 그리드 조건에서 컨텍스트 밴딧 학습을 컨텍스트 없는 강화학습(예: Q-러닝) 및 히우리스틱 전략과 비교하기 위해.
• 학습 기반 제어의 확장성과 향후 통합적 교통 및 에너지 관리 시스템에 대한 적응 가능성 평가하기 위해.

제안 방법

• 에이전트는 실시간 그리드 및 차량 상태 정보를 기반으로 행동(가격 또는 전력 수준)을 선택하는 컨텍스트 밴딧 프레임워크를 사용한다.
• 행동 공간은 전기 요금 또는 충전 전력 수준 조정을 포함하여 전기자동차 충전 행동에 영향을 미친다.
• 보상 함수는 그리드 안정성, 충전 완료도, 에너지 비용 효율성 간 균형을 고려한 유틸리티로 정의된다.
• 모빌리티 모델링을 위해 SUMO를, 전기 네트워크 시뮬레이션을 위해 SIMONA를 사용하여 현실적인 그리드 부하 프로파일을 생성하는 시뮬레이션 프레임워크를 구축한다.
• 성능 테스트를 위해 다양한 목표에 맞게 두 가지 행동 변형과 다수의 유틸리티 함수를 사용한 LinUCB 컨텍스트 밴딧 알고리즘을 구현한다.
• 10일 간의 시뮬레이션 운영을 통해 피크 및 평균 변압기 부하, 보상 누적량을 측정하여 평가한다.

실험 결과

연구 질문

• RQ1 실제 전기자동차 충전 시나리오 하에서 컨텍스트 밴딧 학습이 저압 그리드의 변압기 피크 및 평균 부하를 효과적으로 감소시킬 수 있는가?
• RQ2 컨텍스트 밴딧의 성능은 컨텍스트 없는 강화학습(예: Q-러닝) 및 히우리스틱 전략과 비교해 그리드 부하 관리에서 어떻게 다를까?
• RQ3 다양한 유틸리티 함수와 행동 변형은 그리드 안정성과 충전 효율성 간 균형을 이루는 데 시스템의 능력에 어떤 영향을 미치는가?
• RQ4 알고리즘이 동적인 그리드 조건에 얼마나 잘 적응하여 네트워크 과부하를 피할 수 있는가?
• RQ5 모빌리티 및 전력 네트워크 시뮬레이션 통합(SUMO + SIMONA)은 결과의 현실성과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 가장 뛰어난 성능을 보인 변종—행동 변형 B, '수익' 유틸리티 함수, 전력 목표를 포함한 LinUCB는 피크 변압기 부하를 명목 용량의 201%에서 70%로 감소시켰다.
• 비제어적 충전 대비 평균 변압기 부하가 최대 12% 감소하여 그리드 스트레스 완화가 뚜렷하게 나타났다.
• 컨텍스트 밴딧 학습은 컨텍스트 없는 Q-러닝보다 뛰어난 성능을 보였으며, 훈련 시간이 부족해 수렴이 어려운 Q-러닝에 비해 성능이 열등했다.
• WorkProportional 히우리스틱 전략은 최상의 밴딧 변종과 거의 유사한 성능을 보였으며, 일부 경우에 단순한 가격 기반 제어도 효과적일 수 있음을 시사했다.
• 랜덤화 및 지도 없는 충전 전략은 심각한 과부하를 초래하여 지능형 제어 메커니즘의 필요성을 확인했다.
• 결과적으로 적절한 하이퍼파라미터 튜닝을 통해 컨텍스트 밴딧는 신속하게 새로운 그리드 환경에 도입하고 적응시킬 수 있음을 시사한다.