[論文レビュー] Distributed Energy Management and Demand Response in Smart Grids: A Multi-Agent Deep Reinforcement Learning Framework

Amin Shojaeighadikolaei, Arman Ghasemi+5 more|arXiv (Cornell University)|Nov 29, 2022

Smart Grid Energy Management被引用数 5

ひとこと要約

本論文は、リアルタイム動的料金を用いて、住宅用スマートグリッドにおける分散型エネルギー管理（DEM）と需要応答（DR）を共同最適化するマルチエージェント深層強化学習（DRL）フレームワークを提案する。プロシューマーがバッテリーストレージとグリッドとの相互作用を自律的に行えるようにすることで、プロシューマーの電気料金を最大12％削減し、グリッド収益を4.3％増加させるとともにピーク予備電力の使用を削減し、中規模シミュレーションにおいてスケーラビリティと経済的効率性を示した。

ABSTRACT

This paper presents a multi-agent Deep Reinforcement Learning (DRL) framework for autonomous control and integration of renewable energy resources into smart power grid systems. In particular, the proposed framework jointly considers demand response (DR) and distributed energy management (DEM) for residential end-users. DR has a widely recognized potential for improving power grid stability and reliability, while at the same time reducing end-users energy bills. However, the conventional DR techniques come with several shortcomings, such as the inability to handle operational uncertainties while incurring end-user disutility, which prevents widespread adoption in real-world applications. The proposed framework addresses these shortcomings by implementing DR and DEM based on real-time pricing strategy that is achieved using deep reinforcement learning. Furthermore, this framework enables the power grid service provider to leverage distributed energy resources (i.e., PV rooftop panels and battery storage) as dispatchable assets to support the smart grid during peak hours, thus achieving management of distributed energy resources. Simulation results based on the Deep Q-Network (DQN) demonstrate significant improvements of the 24-hour accumulative profit for both prosumers and the power grid service provider, as well as major reductions in the utilization of the power grid reserve generators.

研究の動機と目的

• 従来のモデルベースの需要応答およびエネルギー管理手法には、システムの不確実性、非線形性、一般化の欠如といった限界があるため、それらを解決すること。
• モデルフリーの強化学習を用いて、住宅用マイクログリッドにおける電力グリッドサービスプロバイダーおよびプロシューマーの両者に対して自律的かつリアルタイムの意思決定を可能にすること。
• 動的で需要依存の電気料金を用いて、分散型エネルギー管理と需要応答を共同最適化し、プロシューマーの参加をインcentivizeすること。
• 多様なプロシューマーを有する中規模マイクログリッドにおいて、フレームワークのスケーラビリティと経済的パフォーマンスを評価すること。
• ルーフトップ太陽光発電およびバッテリーなどの分散型エネルギー資源（DER）を運用可能資産として活用することで、グリッドの安定性が向上し、高コストの予備発電所への依存が低減することを実証すること。

提案手法

• フレームワークは、サービスプロバイダー・エージェント（SPA）とプロシューマー・エージェント（PAs）の相互作用を、不確実性下での逐次的意思決定を可能にするマルコフ決定過程（MDP）としてモデル化する。
• SPAは、リアルタイムのグリッド状態と需要レベルに基づいて動的電力購入価格を設定するために、ディープ・Qネットワーク（DQN）強化学習を用いる。
• 各PAは個別のDQNエージェントを用い、バッテリーの充電／放電サイクルおよびグリッドへの電力注入を自律的に制御し、個々の利益を最大化する。
• リアルタイム料金信号を統合することで、プロシューマーがエネルギー使用および蓄電をシフトするよう誘導し、個々のインcentiveをグリッドの安定性と一致させる。
• 本フレームワークは、小規模（5プロシューマー）および中規模（50プロシューマー）マイクログリッドを想定したシミュレーション環境で訓練および評価され、現実的な負荷プロファイルと送電損失を組み込んでいる。
• バッテリー容量および送電損失パラメータを変化させ、それらがシステムパフォーマンスおよびスケーラビリティに与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 明示的なシステムモデルを必要とせずに、マルチエージェントDRLフレームワークが住宅用マイクログリッドにおける分散型エネルギー管理と需要応答を効果的に調整できるか？
• RQ2 動的で需要に応じた料金設定が、プロシューマー行動およびグリッドレベルのエネルギー分配効率にどのように影響を与えるか？
• RQ3 ルーフトップ太陽光発電およびバッテリーなどの分散型エネルギー資源（DER）を運用可能資産として活用することで、予備発電所への依存度をどの程度低減できるか？
• RQ4 多様な消費パターンを有する増加する数のプロシューマーにおいて、フレームワークのパフォーマンスおよび経済的利点はどのようにスケーリングされるか？
• RQ5 バッテリー容量および送電損失は、長期的な収益性およびエネルギー管理効率にどのような影響を与えるか？

主な発見

• 提案されたDRLフレームワークは、50プロシューマーの中規模シミュレーションにおいて、従来手法と比較してプロシューマーの平均日間電気料金を12％削減した。
• 最適化されたバッテリー運用と高価な予備電力発電の使用削減のおかげで、24時間の間にグリッド収益が4.3％増加した。
• ピーク負荷需要が夕方（18–24時）から早朝（午前6時以前）に効果的にシフトされ、グリッドへの負担が軽減された。
• バッテリー容量を2kWhから15kWhに増加させると、電気料金の削減と収益増加が顕著に見られたが、15kWhを超えると改善の伸びが鈍り始めた。
• 送電損失はグリッド収益に悪影響を及ぼし、損失係数が高いほど全体のシステム効率性および収益性が低下した。
• エージェントベースのアプローチは、電気料金削減および予備電力活用の両面で、従来手法を上回り、多様な環境においてスケーラビリティとロバストネスを示した。