[論文レビュー] Autonomous Charging of Electric Vehicle Fleets to Enhance Renewable Generation Dispatchability

Reza Bayani, Saeed D. Manshadi+3 more|arXiv (Cornell University)|Dec 22, 2020

Electric Vehicles and Infrastructure参考文献 34被引用数 4

ひとこと要約

本稿では、不確実な太陽光発電を伴う電気自動車（EV）台車群の自律的充電フレームワークを提案する。強化学習のフィットドQイテレーションを用いて、再生可能エネルギーの廃棄を低減し、EVの充電を電力系統の需要に合わせて調整する。この手法により、EVは最適な充電スケジュールを学習し、系統の需要に応じて充電を調整し、急増・急減のストレスを軽減し、太陽光発電の活用率を最大化する。60日間の学習後、シミュレーションで90.1%のPV活用率を達成し、ほぼ最適な性能を発揮した。

ABSTRACT

A total 19% of generation capacity in California is offered by PV units and over some months, more than 10% of this energy is curtailed. In this research, a novel approach to reduce renewable generation curtailments and increasing system flexibility by means of electric vehicles' charging coordination is represented. The presented problem is a sequential decision making process, and is solved by fitted Q-iteration algorithm which unlike other reinforcement learning methods, needs fewer episodes of learning. Three case studies are presented to validate the effectiveness of the proposed approach. These cases include aggregator load following, ramp service and utilization of non-deterministic PV generation. The results suggest that through this framework, EVs successfully learn how to adjust their charging schedule in stochastic scenarios where their trip times, as well as solar power generation are unknown beforehand.

研究の動機と目的

• カリフォルニアを含む再生可能エネルギー比率の高い系統において、最大で18%のPV発電が廃棄されているという問題に対処する。
• EV台車群を知的な充電調整により、応答性のあるエネルギー貯蔵手段として活用することで、系統の柔軟性と制御性を向上させる。
• EVの出退場時刻の不確実性と変動する太陽光発電を想定した、スケーラブルで自律的な充電戦略を開発する。
• 強化学習の性能を、従来の最適化手法および深層強化学習（DRL）手法と比較して、EVスケジューリングの文脈で評価する。
• 将来の状況を事前に把握しない状態でも、EVが充電を遅らせて再生可能エネルギーのピークと一致させる能力を学習できることを実証する。

提案手法

• EVは各時刻に充電行動を選択することで、長期的な報酬を最大化するという逐次的意思決定プロセスとして問題を定式化する。
• 決定木を関数近似器として用いたフィットドQイテレーションアルゴリズムを用い、最適なQ関数を学習することで、各ステップで最適化問題を解くことなく、効率的な行動選択を可能にする。
• 報酬関数は、電力系統からの電力購入をペナルティとし、現地で発電されたPV電力を活用することを奨励することで、廃棄の低減を促進するように設計されている。
• フレームワークは3つのケーススタディで評価された：アグリゲーター負荷追従、ランプサービス供与、および未知の発電量と出退場時刻を想定した不確実なPV統合。
• 性能比較のため、最適化のグローバルな最適解を提供する「全知の」線形プログラミングベースのベンチマーク最適化器を用意した。
• 学習効率と収束速度を評価するため、深層Qネットワーク（DRL）手法とも比較した。

実験結果

リサーチクエスチョン

• RQ1 不確実な太陽光発電とEVの到着・出発時刻の不確実性のもとで、EV台車群は自律的に充電を調整し、再生可能エネルギーの廃棄を低減できるか？
• RQ2 このEVスケジューリングの文脈において、フィットドQイテレーションは深層強化学習と比較して、最適な充電ポリシーをどれほど効果的に学習できるか？
• RQ3 将来の状況を事前に知らない状態でも、EVは参照電力トレースに従うか、ランプサービスを提供する能力をどれほど学習できるか？
• RQ4 自律的EV充電システムの性能は、最適なオフラインソリューションと比較してどの程度か？
• RQ5 学習期間が強化学習ポリシーの収束性と性能に与える影響は何か？

主な発見

• 60日間の学習後、不確実なPV統合ケースにおいて、EV台車群は太陽光発電の90.1%を活用した。これは廃棄の顕著な低減を示している。
• フィットドQイテレーションアルゴリズムは、60日間の学習後、ケース0のベンチマーク最適化器の報酬（-105）に近い、ほぼ最適な性能（報酬：-350）を達成した。
• DRLアプローチははるかに多くのデータを必要とし、収束も遅く、75日経過後も報酬が-5732と最適値（-350）から大きく離れていた。
• ランプサービスケースでは、EV台車群がピーク期間中の消費を低減するのを学習し、系統の制御サービスを提供できることを示した。
• PV出力が高く、系統需要が低い時期には充電を遅らせるよう学習し、余剰の再生可能エネルギーを効果的に吸収する柔軟な貯蔵手段としてEVを活用した。
• 結果から、EV台車群が将来の状況について不完全な情報しか持たない状況下でも、自律的に系統の柔軟性を高め、廃棄を低減する能力を学習できることを確認した。