[論文レビュー] Stochastic Games for Smart Grid Energy Management with Prospect Prosumers

S. Rasoul Etesami, Walid Saad+2 more|arXiv (Cornell University)|Oct 6, 2016

Smart Grid Energy Management参考文献 35被引用数 4

ひとこと要約

本稿は、再生可能エネルギーおよび蓄電を備えたプロシューマー（自家消費型世帯）が、行動バイアスをモデル化するためのプロスペクト理論を用いてエネルギー消費および取引を最適化する、スマートグリッドエネルギー管理のための確率的ゲームフレームワークを提案する。本稿では、定常ナッシュ均衡の存在を証明し、最小限の情報共有でϵ-ナッシュ均衡に収束する分散型アルゴリズムを提示する一方で、時間経過に伴い最適エネルギー割り当てを学習できるレグレット・フリーのオンラインアルゴリズムを、電力会社向けに提供する。

ABSTRACT

In this paper, the problem of smart grid energy management under stochastic dynamics is investigated. In the considered model, at the demand side, it is assumed that customers can act as prosumers who own renewable energy sources and can both produce and consume energy. Due to the coupling between the prosumers' decisions and the stochastic nature of renewable energy, the interaction among prosumers is formulated as a stochastic game, in which each prosumer seeks to maximize its payoff, in terms of revenues, by controlling its energy consumption and demand. In particular, the subjective behavior of prosumers is explicitly reflected into their payoff functions using prospect theory, a powerful framework that allows modeling real-life human choices. For this prospect-based stochastic game, it is shown that there always exists a stationary Nash equilibrium where the prosumers' trading policies in the equilibrium are independent of the time and their histories of the play. Moreover, a novel distributed algorithm with no information sharing among prosumers is proposed and shown to converge to an $ε$-Nash equilibrium. On the other hand, at the supply side, the interaction between the utility company and the prosumers is formulated as an online optimization problem in which the utility company's goal is to learn its optimal energy allocation rules. For this case, it is shown that such an optimization problem admits a no-regret algorithm meaning that regardless of the actual outcome of the game among the prosumers, the utility company can follow a strategy that mitigates its allocation costs as if it knew the entire demand market a priori. Simulation results show the convergence of the proposed algorithms to their predicted outcomes and present new insights resulting from prospect theory that contribute toward more efficient energy management in the smart grids.

研究の動機と目的

• 不確実性下での主観的かつ行動バイアスを示す意思決定を行うプロシューマーを想定したスマートグリッドにおけるエネルギー管理のモデル化。
• 分散型エネルギー取引における確率的再生可能エネルギー発電および蓄電のダイナミクスに起因する課題の解決。
• 最小限の協調および情報共有でプロシューマーがϵ-ナッシュ均衡に到達できる分散型アルゴリズムの開発。
• 進化するプロシューマー行動に基づき、動的に最適エネルギー割り当てを最適化できる電力会社のレグレット・フリーのオンライン学習アルゴリズムの設計。
• シミュレーションを通じたモデルの妥当性検証：プロスペクト理論的行動を反映した場合の収束性およびエネルギー需要の予測可能性向上の確認。

提案手法

• 各プロシューマーの報酬関数にプロスペクト理論を組み込み、損失回避および確率加重を反映させた、マーカフ連鎖を用いた確率的ゲームとしてプロシューマー間の相互作用を定式化する。
• 時間および履歴に依存しない定常方策フレームワークを用いて、ナッシュ均衡の存在を証明する。
• 各プロシューマーが局所的観測と減少するステップサイズに基づいて方策を更新する分散型非同期アルゴリズムを提案し、ほぼ確実にϵ-ナッシュ均衡に収束することを示す。
• 電力会社に対して、レグレット最小化フレームワークを用いたレグレット・フリーのオンライン学習アルゴリズムを採用し、時間経過に伴うエネルギー割り当ての適応を可能にする。
• プロシューマーが余剰な再生可能エネルギーを蓄電し、将来の不足を回避できるように、蓄電ダイナミクスをモデルに統合する。
• 3人のプロシューマーを想定したシミュレーションにより、再生可能エネルギーの信頼性および蓄電レベルの変動を考慮し、アルゴリズムの収束性およびレグレットの低減を確認する。

実験結果

リサーチクエスチョン

• RQ1 プロスペクト理論的行動的嗜好および不確実な再生可能エネルギー発電を有するプロシューマーの確率的ゲームにおいて、定常ナッシュ均衡は存在するか？
• RQ2 完全な情報や戦略を共有せずに、分散型アルゴリズムがプロシューマーがϵ-ナッシュ均衡に収束可能か？
• RQ3 プロシューマー行動が確率的かつ非エルゴード的である場合、電力会社のエネルギー割り当て戦略はどの程度の性能を示し、どのような保証が可能か？
• RQ4 ノーマティブモデルと比較して、プロスペクト理論はスマートグリッドエネルギー管理の現実性および効率性をどの程度向上させるか？
• RQ5 プロシューマー行動の事前知識がなくても、電力会社は時間経過に伴いレグレットが消えるように最適エネルギー割り当てルールを学習可能か？

主な発見

• 提案された確率的ゲームにおいて、定常ナッシュ均衡が存在し、プロスペクト理論的嗜好下でもプロシューマーの長期的安定行動を保証する。
• 提示された分散型アルゴリズムは、最小限の情報交換でほぼ確実にϵ-ナッシュ均衡に収束し、分散型意思決定を可能にする。
• シミュレーション結果により、アルゴリズムが予測された均衡方策に収束することが確認され、プロシューマーは損失回避および蓄電制約に基づき行動を調整している。
• 電力会社のレグレットは時間経過とともに減少し、相互作用回数が増加するにつれてゼロに近づく。特にプロシューマー市場がϵ-ナッシュ均衡に安定した後は顕著である。
• 再生可能エネルギーの信頼性が高いプロシューマー（例：μ₃=1, σ²₃=1）は外部エネルギーをあまり必要とせず、割り当ての分散が小さいが、信頼性が低いプロシューマー（例：μ₁=0.5, σ²₁=2）は、より高く不規則な需要変動を示す。
• 電力会社によるエネルギー割り当ての分散は時間経過とともに減少し、プロシューマー行動が安定した後は、予測可能性および学習効率の向上が示されている。