[論文レビュー] Multi-Agent Q-Learning for Minimizing Demand-Supply Power Deficit in Microgrids

Raghuram Bharadwaj Diddigi, Sai Koti Reddy Danda+1 more|arXiv (Cornell University)|Aug 25, 2017

Smart Grid Energy Management参考文献 11被引用数 5

ひとこと要約

本論文は、再生可能エネルギーの蓄電と主電源グリッド接続を活用して、電力が供給されていない村を対象としたマイクログリッドにおける需要・供給の電力不足を最小化するためのマルチエージェントQ学習手法を提案する。問題をマーカフ連鎖意思決定過程（MDP）としてモデル化し、協調的Q学習を適用することで、太陽光、風力、グリッド電源の各ソースにおける電力割り当てを最適化する。その結果、主電源グリッドの容量が中程度の場合、バッテリーストレージが電力不足を顕著に削減することが示された。

ABSTRACT

We consider the problem of minimizing the difference in the demand and the supply of power using microgrids. We setup multiple microgrids, that provide electricity to a village. They have access to the batteries that can store renewable power and also the electrical lines from the main grid. During each time period, these microgrids need to take decision on the amount of renewable power to be used from the batteries as well as the amount of power needed from the main grid. We formulate this problem in the framework of Markov Decision Process (MDP), similar to the one discussed in [1]. The power allotment to the village from the main grid is fixed and bounded, whereas the renewable energy generation is uncertain in nature. Therefore we adapt a distributed version of the popular Reinforcement learning technique, Multi-Agent Q-Learning to the problem. Finally, we also consider a variant of this problem where the cost of power production at the main site is taken into consideration. In this scenario the microgrids need to minimize the demand-supply deficit, while maintaining the desired average cost of the power production.

研究の動機と目的

• 信頼性の低いまたは存在しないグリッド接続を持つインドの地方部の電気化課題に対処する。
• 再生可能エネルギーとバッテリーストレージを用いて、マイクログリッドにおける長期的な需要・供給の電力不足を最小化する。
• 主電源グリッドの電力コストを最適化に組み込み、電力不足と発電コストのバランスを取る。
• 不確実性下でのマイクログリッド電力割り当てに適した分散型で学習ベースの制御戦略を開発する。
• 主電源グリッドの容量制約が変化する条件下で、バッテリーストレージの電力不足低減効果を評価する。

提案手法

• 需要、バッテリー残量、電力供給可能性を状態として表すマーカフ連鎖意思決定過程（MDP）としてマイクログリッド電力割り当て問題を定式化する。
• 時間スロットごとに太陽光、風力、主電源グリッド電力の使用に関する最適方策を学ぶために、協調的マルチエージェントQ学習を適用する。
• 電力不足と主電源グリッド電力使用の両方をペナルティとする1段階の報酬関数を用い、調整可能なコストパラメータcを導入する。
• 最適なQ値を学習するために、10^8イテレーションにわたりε = 0.85のε-greedy探索戦略を実装する。
• 再生可能エネルギーの発電をポアソン分布（平均 = 2）で、需要は遷移行列Pを有するマルコフ連鎖に従わせるシミュレーションを実施する。
• 訓練後、10^4イテレーションにわたり平均的な電力不足を用いて、バッテリーストレージ有りと無しの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 主電源グリッドへのアクセスが限られているマイクログリッドにおいて、バッテリーストレージは需要・供給の電力不足の最小化にどのように寄与するか？
• RQ2 電力不足の最小化と主電源グリッドから引き出す電力のコストを制御するというトレードオフは、どのように成立するか？
• RQ3 実時間の発電とグリッド電力の直接利用よりも、蓄電された再生可能エネルギーを利用することが優位となる条件は何か？
• RQ4 主電源グリッドの容量が変化する条件下で、マルチエージェントQ学習の性能は非蓄電戦略と比べてどうなるか？
• RQ5 コスト重み付き報酬関数は、電力不足と主電源グリッド発電コストの両方を効果的にバランスさせることができるか？

主な発見

• 主電源グリッドからの最大電力割当（MPA）が3未満の場合、バッテリーストレージに利点はなく、コスト重みなしのアルゴリズム1がより優れた性能を示す。
• MPAが最小需要と同等（例：5–8）の場合、コスト重み付き報酬を用いたアルゴリズム2が、バッテリーストレージを活用して電力不足を低減することで、アルゴリズム1を上回る。
• コストパラメータcを0から1に増加させると、平均的な電力不足は減少するが、平均的な主電源グリッド電力使用量は増加する。これは、適切なトレードオフ制御が可能であることを示している。
• マルチエージェントQ学習アルゴリズムは10^8イテレーションの学習後、安定した方策に収束し、10^4回のテストイテレーションにおいて平均的な電力不足が顕著に低減された。
• シミュレーションの結果、主電源グリッドの容量が中程度の場合、知的な蓄電と再生可能エネルギーの割り当てが電力不足を顕著に低減することが確認された。
• 結果から、主電源グリッド供給が制限されているが完全に途絶していない状況で、バッテリーストレージが最も効果的であることが示され、適応型エネルギー管理の必要性が裏付けられた。