[논문 리뷰] Transfer Deep Reinforcement Learning-based Large-scale V2G Continuous Charging Coordination with Renewable Energy Sources

Yubao Zhang, Xin Chen외 1명|arXiv (Cornell University)|2022. 10. 13.

Electric Vehicles and Infrastructure인용 수 6

한 줄 요약

이 논문은 재생 가능 에너지원(Renewable Energy Sources, RES)과 통합된 대규모 차량-그리드(Vehicle-to-Grid, V2G) 연속 충전/방전 조정을 위한 Proximal Policy Optimization(PPO)-기반 딥 강화학습(Deep Reinforcement Learning, DRL) 프레임워크를 제안한다. 이 프레임워크는 충전 상태(SOC) 제약 조건을 고려하여 통합자와 개별 전기자동차(EV)의 실시간 전력 스케줄링을 최적화하며, 비제어적 충전 대비 부하 변동을 97.37% 감소시키고 충전 비용을 76.56% 절감한다.

ABSTRACT

Due to the increasing popularity of electric vehicles (EVs) and the technological advancement of EV electronics, the vehicle-to-grid (V2G) technique and large-scale scheduling algorithms have been developed to achieve a high level of renewable energy and power grid stability. This paper proposes a deep reinforcement learning (DRL) method for the continuous charging/discharging coordination strategy in aggregating large-scale EVs in V2G mode with renewable energy sources (RES). The DRL coordination strategy can efficiently optimize the electric vehicle aggregator's (EVA's) real-time charging/discharging power with the state of charge (SOC) constraints of the EVA and the individual EV. Compared with uncontrolled charging, the load variance is reduced by 97.37$\%$ and the charging cost by 76.56$\%$. The DRL coordination strategy further demonstrates outstanding transfer learning ability to microgrids with RES and large-scale EVA, as well as the complicated weekly scheduling. The DRL coordination strategy demonstrates flexible, adaptable, and scalable performance for the large-scale V2G under realistic operating conditions.

연구 동기 및 목표

• 재생 가능 에너지원(Renewable Energy Sources, RES)과 통합된 대규모 전기자동차(EV) 통합에서의 부하 변동과 높은 충전 비용 문제를 해결한다.
• 개별 EV와 통합자의 SOC 제약 조건을 고려한 실시간, 확장 가능한 차량-그리드(V2G) 시스템 조정 전략을 개발한다.
• RES 통합 환경에서 다양한 마이크로그리드 조건에 걸쳐 효율적이고 적응형이며 이식 가능한 스케줄링을 가능하게 한다.
• SOC 제약 조건 이행을 통해 배터리 수명 연장과 함께 부하 변동과 EV 충전 비용을 최소화한다.
• 대규모 V2G 조정에서 이산적 DRL 및 군집지능 기반 방법에 비해 연속 행동 DRL이 우수한 성능을 보임을 입증한다.

제안 방법

• 대규모 EV 통합자에 대한 실시간 충전/방전 전력 최적화를 위해 연속 행동 딥 강화학습 알고리즘인 Proximal Policy Optimization(PPO)를 적용한다.
• 주행 수요와 배터리 건강 상태 유지의 목적으로 통합자의 충전 상태(SOC) 및 개별 EV SOC에 하드 제약 조건을 통합한다.
• 부하 변동 최소화와 시간대별 요금(Time-of-Use, TOU) 요금을 통합하여 운영 비용 절감을 위한 보상 함수를 사용한다.
• 중앙집중식 행동 공간을 활용하여 EVA가 실시간 SOC 및 그로드 조건에 기반해 개별 EV에 전력을 할당한다.
• 사전 학습된 정책이 다양한 마이크로그리드 시나리오와 RES 통합 수준에서 일반화할 수 있도록 전이 학습 기능을 도입한다.
• 명시적 예측 모델이 필요 없는 센서 입력에서 직접 최적의 정책을 학습하기 위해 엔드 투 엔드 DRL을 활용한다.

실험 결과

연구 질문

• RQ1 연속 행동 DRL 기반 조정 전략이 RES 통합 환경에서 대규모 V2G 시스템의 부하 변동과 충전 비용을 효과적으로 감소시킬 수 있는가?
• RQ2 다양한 그리드 조건에서 동적으로 변화하는 환경에서도 제안된 PPO 기반 DRL 전략이 통합자 및 개별 EV의 SOC 제약 조건을 얼마나 잘 유지하는가?
• RQ3 전이 학습을 통해 DRL 정책이 다양한 마이크로그리드 구성 및 RES 침투 수준에서 얼마나 일반화되는가?
• RQ4 비제어적 충전, PSO, 이산적 DRL(DQN 등)에 비해 제안된 방법은 부하 변동과 비용 절감 측면에서 어떤가?
• RQ5 예측 데이터에 의존하지 않고 실시간으로 작동하여 예측 불가능한 EV 행동과 그리드 변동성에 적응 가능한가?

주요 결과

• 비제어적 충전 대비 기준 부하 시스템에서 DRL 조정 전략은 부하 변동을 97.37% 감소시켰다.
• 비제어적 충전 대비 충전 비용은 76.56% 감소했으며, 비제어적 조건에서는 비용이 9074.4 CNY였다.
• 재생 가능 에너지원(Renewable Energy Sources, RES)이 통합된 상황에서 전략은 부하 변동을 89.03% 감소시키고 충전 비용을 81.41% 절감했다.
• 일주일 스케줄링 시나리오에서, 기준 부하 조건에서는 부하 변동을 95.04% 감소시키고, RES 통합 조건에서는 83.08% 감소시켜 강력한 확장성을 입증했다.
• PPO 기반 DRL 접근법은 연속 행동 공간에서 안정성, 수렴성 및 성능 측면에서 PSO 및 이산적 DRL(DQN 등)을 모두 능가했다.
• 개별 EV의 SOC는 안전 범위(0.2–0.9) 내에서 유지되었고, 도착 시점에 EVA의 SOC는 0.8에서 0.9 사이를 유지하여 배터리 건강과 사용 가능성을 보장했다.