[論文レビュー] Data-driven battery operation for energy arbitrage using rainbow deep reinforcement learning

Daniel J. B. Harrold, Jun Cao+1 more|arXiv (Cornell University)|Jun 10, 2021

Smart Grid Energy Management参考文献 34被引用数 4

ひとこと要約

本研究では、動的料金および天候予測を活用して、エネルギー価格差益の最適化を目的としたマイクログリッドにおけるバッテリ操作を、Rainbow Deep Q-Network (DQN)強化学習アルゴリズムを用いて最適化することを提案する。Rainbowは、標準DQN、DDPG、および線形計画法を上回り、その分布的アプローチにより優れた学習性能とエージェント行動の解釈可能性を実現した。

ABSTRACT

As the world seeks to become more sustainable, intelligent solutions are needed to increase the penetration of renewable energy. In this paper, the model-free deep reinforcement learning algorithm Rainbow Deep Q-Networks is used to control a battery in a small microgrid to perform energy arbitrage and more efficiently utilise solar and wind energy sources. The grid operates with its own demand and renewable generation based on a dataset collected at Keele University, as well as using dynamic energy pricing from a real wholesale energy market. Four scenarios are tested including using demand and price forecasting produced with local weather data. The algorithm and its subcomponents are evaluated against two continuous control benchmarks with Rainbow able to outperform all other method. This research shows the importance of using the distributional approach for reinforcement learning when working with complex environments and reward functions, as well as how it can be used to visualise and contextualise the agent's behaviour for real-world applications.

研究の動機と目的

• データ駆動型の強化学習アプローチを用いて、マイクログリッドにおける最適なバッテリ運用を実現し、エネルギー価格差益と再生可能エネルギーの活用を最大化すること。
• 複雑な現実世界のエネルギー環境において、最先端のRainbow DQNアルゴリズムが標準DQNおよびアクタークリティックベンチマークと比較してどのように性能を発揮するかを評価すること。
• 分布的強化学習アプローチ（C51）が非決定的報酬関数を扱う上での利点と、エージェントの意思決定の解釈可能性をどのように向上させるかを調査すること。
• 需要および価格予測を強化学習エージェントの状態空間に統合した場合、制御性能および学習効率に与える影響を評価すること。

提案手法

• 本研究では、ダブルネットワーク、優先順位付き経験再生、および分布的Q学習（C51）を組み合わせた複数のDQN改良手法を統合したモデルフリーの深層強化学習手法、Rainbow DQNを採用した。
• 環境はケイル大学の実際のマイクログリッドを模擬し、実際の需要および再生可能エネルギー（太陽光および風力）のデータに加え、動的卸売電力料金を組み込んだ。
• エージェントは、バッテリの充電状態、リアルタイムの電力料金、および局所的な天候データから得られる需要および価格予測を含む状態空間を観測する。
• 行動は、バッテリの充電または放電を制御する離散的コマンドであり、物理的制約を満たすために容量制限を超えるとペナルティが課される。
• エピソードごとに価値分布を可視化し、環境状態の変化に応じてエージェントが異なる行動に対してどのように価値を割り当てていくかを解釈する。
• 状態空間および行動空間のサイズを段階的に増加させる4つのシナリオ（複雑度が上昇する順）をテストし、スケーラビリティおよび予測統合の有効性を評価した。

実験結果

リサーチクエスチョン

• RQ1 動的料金および再生可能エネルギーの不安定性を伴う現実世界のマイクログリッド環境において、Rainbow DQNアルゴリズムはエネルギー価格差益の最適なバッテリ制御ポリシーを効果的に学習できるか？
• RQ2 複雑なエネルギー環境において、Rainbow DQNの分布的アプローチ（C51）は、標準DQNと比較して学習の安定性および性能をどのように向上させるか？
• RQ3 需要および価格予測が、エネルギー価格差益タスクにおけるRLエージェントの性能にどの程度向上効果をもたらすか？
• RQ4 予測データの統合が、エージェントが価格の急騰を予測し、バッテリの送電を最適化する能力にどのように影響を与えるか？

主な発見

• Rainbow DQNは、4つのテストシナリオすべてにおいて、標準DQN、DDPG、および線形計画法ベンチマークを顕著に上回った。特に、高解像度の状態空間および行動空間を有する複雑な環境で顕著な優位性を示した。
• 分布的アプローチ（C51）により、バッテリ容量制限を超えて充電・放電する場合のペナルティなど、非決定的報酬関数をよりよくモデル化できた。
• 価値分布の可視化から、エージェントがピーク価格時期の直前における放電行動に対して高い報酬を関連づけることを学習しており、効果的な時間的計画が実現していることが示された。
• 需要および価格予測データの統合が、性能向上に最も寄与した。特に、この情報を効果的に活用できたRainbowエージェントにおいて顕著な向上が見られた。
• Rainbowのサブコンポーネント（例：優先順位付き経験再生、ダウリン・ネットワーク）は相乗効果を発揮し、多様なシナリオにわたる学習効率およびロバスト性を向上させた。
• 連続的行動空間を持つにもかかわらず、DDPGエージェントはRainbow DQNに劣り、Rainbowの分布的および価値ベースのアプローチが、より優れた学習安定性と性能を提供していることが示された。