[論文レビュー] Charging control of electric vehicles using contextual bandits considering the electrical distribution grid

Christian Römer, Johannes Hiry+3 more|arXiv (Cornell University)|Apr 10, 2019

Electric Vehicles and Infrastructure参考文献 15被引用数 6

ひとこと要約

本稿では、低圧配電系統における過負荷を回避するために、動的価格設定と電力レベルの動的調整を行うコンテキストバンドイットベースの電気自動車（EV）充電制御システムを提案する。SUMOとSIMONAシミュレータを統合することで、制御されていない充電と比較して、ピーク変圧器負荷を最大70%、平均負荷を12%削減する。これは、Q学習などの文脈フリー強化学習手法を上回る性能を発揮する。

ABSTRACT

With the proliferation of electric vehicles, the electrical distribution grids are more prone to overloads. In this paper, we study an intelligent pricing and power control mechanism based on contextual bandits to provide incentives for distributing charging load and preventing network failure. The presented work combines the microscopic mobility simulator SUMO with electric network simulator SIMONA and thus produces reliable electrical distribution load values. Our experiments are carefully conducted under realistic conditions and reveal that conditional bandit learning outperforms context-free reinforcement learning algorithms and our approach is suitable for the given problem. As reinforcement learning algorithms can be adapted rapidly to include new information we assume these to be suitable as part of a holistic traffic control scenario.

研究の動機と目的

• 制御されていない電気自動車（EV）充電に起因する電力系統の過負荷リスクの増大に対処すること。
• 動的価格設定と電力調整を用いて、負荷分散を促進するスマートな充電制御メカニズムを開発すること。
• 現実の系統シミュレーション環境におけるコンテキストバンドイットアルゴリズムの有効性を評価すること。
• 現実の交通および系統状況下で、コンテキストバンドイット学習と文脈フリー強化学習（例：Q学習）およびヒューリスティック戦略を比較すること。
• 将来的な包括的交通・エネルギー管理システムにおける、学習ベース制御のスケーラビリティと適応性を評価すること。

提案手法

• エージェントは、リアルタイムの系統および車両状態情報に基づいて、行動（価格設定または電力レベル）を選択するコンテキストバンドイットフレームワークを採用する。
• 行動空間には、EV充電行動に影響を与えるために電気料金や充電電力を調整する選択肢が含まれる。
• 報酬関数は、系統安定性、充電完了度、エネルギーコスト効率のバランスを取るためのユーティリティとして定義される。
• シミュレーションフレームワークは、移動モ델のためのSUMOと、電気ネットワークシミュレーションのためのSIMONAを統合し、現実的な系統負荷プロファイルを生成する。
• 性能評価のため、2つの行動バリエーションと複数のユーティリティ関数を用いて、LinUCBコンテキストバンドイットアルゴリズムを実装する。
• 10日間のシミュレート運転を経て、ピークおよび平均変圧器負荷、報酬蓄積量を測定する。

実験結果

リサーチクエスチョン

• RQ1 現実のEV充電シナリオ下で、コンテキストバンドイット学習は低圧系統における変圧器のピーク負荷と平均負荷を効果的に低減できるか？
• RQ2 コンテキストバンドイットの性能は、文脈フリー強化学習（例：Q学習）およびヒューリスティック戦略と比較して、系統負荷管理においてどのように差がつくか？
• RQ3 異なるユーティリティ関数および行動バリエーションが、系統安定性と充電効率のバランスを保つ能力に与える影響は何か？
• RQ4 アルゴリズムは、動的な系統状態にどの程度適応可能で、ネットワーク過負荷を回避できるか？
• RQ5 移動および電力ネットワークシミュレーション（SUMO + SIMONA）の統合は、結果の現実性および信頼性にどのような影響を与えるか？

主な発見

• 最良のパフォーマンスを示したバリエーション（行動バリエーションB、'収益'ユーティリティ関数、電力目標付き）では、変圧器ピーク負荷が名目容量の201%から70%にまで低下した。
• 平均変圧器負荷は、制御されていない充電と比較して最大12%削減され、顕著な系統ストレス低減が確認された。
• コンテキストバンドイット学習は、訓練時間の不足により収束が限定的で性能が低いことが判明した文脈フリーQ学習を上回った。
• WorkProportionalヒューリスティック戦略は、最良のバンドイットバリエーションとほぼ同等の性能を示し、一部の状況では単純な価格ベース制御が有効である可能性を示唆した。
• ランダムおよびガイドなしの充電戦略は深刻な過負荷を引き起こしたため、知的制御メカニズムの必要性が裏付けられた。
• 適切なハイパーパrameterチューニングにより、コンテキストバンドイットは迅速に新規の系統環境に展開・適応可能であると示唆された。