[논문 리뷰] Autonomous Charging of Electric Vehicle Fleets to Enhance Renewable Generation Dispatchability

Reza Bayani, Saeed D. Manshadi외 3명|arXiv (Cornell University)|2020. 12. 22.

Electric Vehicles and Infrastructure참고 문헌 34인용 수 4

한 줄 요약

이 논문은 변동성이 큰 태양광 발전을 고려하여 전기자동차(EV) 운용 차량단의 자율 충전 프레임워크를 제안한다. 이는 적합한 Q-반복 강화학습을 활용해 재생 가능 에너지 폐기량을 줄이고자 한다. 이 방법은 EV가 그리드 수요를 따라 최적의 충전 일정을 학습함으로써, 급격한 변화에 대한 스트레스를 줄이고 태양광 발전의 활용도를 극대화한다. 시뮬레이션 결과, 60일간의 훈련 후 거의 최적의 성능을 달성하며 태양광 발전의 활용도가 90.1%에 이르렀다.

ABSTRACT

A total 19% of generation capacity in California is offered by PV units and over some months, more than 10% of this energy is curtailed. In this research, a novel approach to reduce renewable generation curtailments and increasing system flexibility by means of electric vehicles' charging coordination is represented. The presented problem is a sequential decision making process, and is solved by fitted Q-iteration algorithm which unlike other reinforcement learning methods, needs fewer episodes of learning. Three case studies are presented to validate the effectiveness of the proposed approach. These cases include aggregator load following, ramp service and utilization of non-deterministic PV generation. The results suggest that through this framework, EVs successfully learn how to adjust their charging schedule in stochastic scenarios where their trip times, as well as solar power generation are unknown beforehand.

연구 동기 및 목표

• 캘리포니아와 같이 연간 최대 18%의 태양광 발전이 폐기되는 재생 에너지 비중이 높은 전력망에서의 태양광 발전 폐기 문제를 해결하기 위해.
• 지능적인 충전 조율을 통해 EV 차량단을 반응형 에너지 저장소로 활용하여 전력망의 유연성과 조정 가능성을 향상시키기 위해.
• EV 운행 시간과 변동성이 큰 태양광 발전에 대한 불확실성 속에서도 확장 가능하고 자율적인 충전 전략을 개발하기 위해.
• 기존 최적화 기법과 딥 강화학습 방법과 비교하여 강화학습의 성능을 평가하기 위해.
• 미래 조건에 대한 사전 지식 없이도 EV가 충전을 연기하고 재생 에너지 생산의 피크에 맞추어 충전하는 것을 학습할 수 있음을 입증하기 위해.

제안 방법

• EV가 각 시간 단계에서 보상의 장기적 최대화를 위해 충전 행동을 선택하는 순차적 의사결정 과정으로 문제를 모델링한다.
• 결정 트리를 함수 근사기로 사용하는 적합한 Q-반복 알고리즘을 사용하여 최적의 Q-함수를 학습함으로써, 각 단계에서 최적화 문제를 해결하지 않고도 효율적인 행동 선택을 가능하게 한다.
• 보상 함수는 그리드에서의 전력 구매를 제재하고 현지에서 생산된 태양광 전력의 활용을 장려함으로써 폐기량 감소를 유도하도록 설계된다.
• 프레임워크는 세 가지 사례 연구를 통해 테스트되었다: 집합적 부하 따라하기, 램프 서비스 제공, 불확실한 태양광 발전 및 도착/출발 시간을 고려한 통합.
• 성능 비교를 위해 선형 프로그래밍 기반의 '모든 정보를 알고 있는' 최적화기(벤치마크)를 제공한다.
• 샘플 효율성과 학습 속도 평가를 위해 딥 Q-네트워크(DRL) 방법과 비교 분석을 수행한다.

실험 결과

연구 질문

• RQ1 불확실한 태양광 발전과 EV의 도착/출발 시간에 대비하여 EV 차량단이 자율적으로 충전을 조율하여 재생 에너지 폐기량을 줄일 수 있는가?
• RQ2 이러한 EV 스케줄링 맥락에서, 적합한 Q-반복이 딥 강화학습에 비해 최적의 충전 정책을 얼마나 효과적으로 학습하는가?
• RQ3 미래 조건에 대한 사전 지식 없이도 EV는 기준 전력 궤적을 따라가거나 램프 서비스를 제공할 수 있는가?
• RQ4 자율적 EV 충전 시스템의 성능은 최적의 오프라인 솔루션과 비교하여 어떻게 되는가?
• RQ5 훈련 기간이 강화학습 정책의 수렴성과 성능에 어떤 영향을 미치는가?

주요 결과

• 60일간의 훈련 후, 불확실한 태양광 발전 통합 사례에서 EV 차량단은 태양광 발전의 90.1%를 활용하여 폐기량을 크게 줄였다.
• 적합한 Q-반복 알고리즘이 60일 후 거의 최적의 성능(-350의 보상)을 달성하였으며, 케이스 0에서 벤치마크 최적화기의 보상(-105)에 근접하였다.
• DRL 방법은 훨씬 더 많은 데이터를 필요로 하였고 수렴 속도도 느렸으며, 75일 후에도 보상이 -5732로 최적 수준(-350)과는 거리가 멀었다.
• 램프 서비스 사례에서 EV 차량단은 피크 기간 동안 소비를 줄이는 것을 학습하여 전력망 조정 서비스 제공 능력을 입증하였다.
• 태양광 출력이 높고 그리드 수요가 낮을 때 충전을 연기하는 것을 학습하여, EV를 유연한 저장소로 활용해 여유 재생 에너지를 흡수하는 데 성공하였다.
• 결과적으로, 미래 조건에 대한 정보가 불완전하더라도 EV 차량단이 자율적으로 전력망의 유연성을 향상시키고 폐기량을 줄일 수 있음을 확인하였다.