[論文レビュー] Transfer Deep Reinforcement Learning-based Large-scale V2G Continuous Charging Coordination with Renewable Energy Sources

Yubao Zhang, Xin Chen+1 more|arXiv (Cornell University)|Oct 13, 2022

Electric Vehicles and Infrastructure被引用数 6

ひとこと要約

本論文は、再生可能エネルギー源（RES）を伴う大規模な車両対グリッド（V2G）連続充電/放電調整のための、Proximal Policy Optimization（PPO）に基づく深層強化学習（DRL）フレームワークを提案する。これは、集約者および個々のEVの充電状態（SOC）制約を満たしつつ、リアルタイムでの電力スケジューリングを最適化し、制御されていない充電と比較して負荷ばらつきを97.37％、充電コストを76.56％削減する。

ABSTRACT

Due to the increasing popularity of electric vehicles (EVs) and the technological advancement of EV electronics, the vehicle-to-grid (V2G) technique and large-scale scheduling algorithms have been developed to achieve a high level of renewable energy and power grid stability. This paper proposes a deep reinforcement learning (DRL) method for the continuous charging/discharging coordination strategy in aggregating large-scale EVs in V2G mode with renewable energy sources (RES). The DRL coordination strategy can efficiently optimize the electric vehicle aggregator's (EVA's) real-time charging/discharging power with the state of charge (SOC) constraints of the EVA and the individual EV. Compared with uncontrolled charging, the load variance is reduced by 97.37$\%$ and the charging cost by 76.56$\%$. The DRL coordination strategy further demonstrates outstanding transfer learning ability to microgrids with RES and large-scale EVA, as well as the complicated weekly scheduling. The DRL coordination strategy demonstrates flexible, adaptable, and scalable performance for the large-scale V2G under realistic operating conditions.

研究の動機と目的

• 再生可能エネルギー源（RES）を統合した大規模な電気自動車（EV）統合における負荷変動と高コストの課題に対処すること。
• 個々のEVおよび集約者のSOC制約を尊重するリアルタイムでスケーラブルなV2Gシステムの調整戦略を開発すること。
• RES統合下の多様なマイクログリッド環境において、効率的で適応的かつ移植可能なスケジューリングを可能にすること。
• SOC制約の強制によりバッテリーの寿命を確保しつつ、負荷ばらつきとEV充電コストを最小限に抑えること。
• 大規模V2G調整において、離散的DRLや群知能手法と比較して、連続的行動DRLが優れていることを実証すること。

提案手法

• 大規模EV集約者におけるリアルタイム充電/放電電力最適化のため、連続的行動深層強化学習アルゴリズムであるProximal Policy Optimization（PPO）を適用する。
• 運転需要とバッテリーの健全性を保証するため、集約者の充電状態（SOC）および個々のEVのSOCにハード制約を組み込む。
• 負荷ばらつきの最小化と運用コストの低減を目的とした報酬関数を採用し、時間帯別料金（TOU）制度を統合する。
• 中央集権的なアクションスペースを採用し、EVAがリアルタイムのSOC状態とグリッド状況に基づいて個々のEVに電力を割り当てる。
• 事前学習済みポリシーが異なるマイクログリッド環境におけるRES統合に一般化可能であるように、転移学習機能を導入する。
• 明示的な予測モデルを必要とせず、センサ入力から直接最適ポリシーを学習できるエンドツーエンドDRLを活用する。

実験結果

リサーチクエスチョン

• RQ1 RES統合を伴う大規模V2Gシステムにおいて、連続的行動DRLに基づく調整戦略は、負荷ばらつきと充電コストの低減を効果的に実現できるか？
• RQ2 動的なグリッド状況下でも、提案されたPPOベースのDRL戦略は、集約者および個々のEVのSOC制約をどの程度適切に維持できるか？
• RQ3 転移学習を通じて、異なるマイクログリッド構成およびRES統合度におけるDRLポリシーの一般化度はどの程度か？
• RQ4 制御されていない充電、PSO、および離散的DRL（例：DQN）と比較して、提案手法は負荷ばらつきとコスト低減の観点でどの程度優れているか？
• RQ5 予測データに依存せず、予測不能なEV行動やグリッドの変動に適応可能なリアルタイム運用が可能か？

主な発見

• DRL調整戦略は、ベースロードテストシステムにおいて制御されていない充電と比較して負荷ばらつきを97.37％削減した。
• 制御されていない充電の際のコストが9074.4 CNYであったのに対し、コストは76.56％削減された。
• 再生可能エネルギー源（RES）を統合した場合、負荷ばらつきは89.03％、充電コストは81.41％削減された。
• 1週間のスケジューリングシナリオにおいて、ベースロード条件下で負荷ばらつきは95.04％、RES統合条件下で83.08％削減され、高いスケーラビリティが示された。
• 連続的行動空間における安定性、収束性、性能の観点で、PPOベースのDRLアプローチはPSOおよび離散的DRL（例：DQN）を上回った。
• 個々のEVのSOCは安全範囲（0.2～0.9）内に維持され、出発時刻におけるEVAのSOCは0.8～0.9の範囲に保たれ、バッテリーの健全性と使用可能性が確保された。