[論文レビュー] CityLearn: Standardizing Research in Multi-Agent Reinforcement Learning for Demand Response and Urban Energy Management

José R. Vázquez-Canteli, Sourav Dey+2 more|arXiv (Cornell University)|Dec 18, 2020

Smart Grid Energy Management参考文献 16被引用数 44

ひとこと要約

本論文は、需要応答と都市エネルギー管理のマルチエージェント強化学習研究を標準化するOpenAI Gym環境 CityLearn を紹介し、進展を促すための CityLearn Challenge を提案します。

ABSTRACT

Rapid urbanization, increasing integration of distributed renewable energy resources, energy storage, and electric vehicles introduce new challenges for the power grid. In the US, buildings represent about 70% of the total electricity demand and demand response has the potential for reducing peaks of electricity by about 20%. Unlocking this potential requires control systems that operate on distributed systems, ideally data-driven and model-free. For this, reinforcement learning (RL) algorithms have gained increased interest in the past years. However, research in RL for demand response has been lacking the level of standardization that propelled the enormous progress in RL research in the computer science community. To remedy this, we created CityLearn, an OpenAI Gym Environment which allows researchers to implement, share, replicate, and compare their implementations of RL for demand response. Here, we discuss this environment and The CityLearn Challenge, a RL competition we organized to propel further progress in this field.

研究の動機と目的

• 市全体のエネルギーシステムに対する標準化されたデータ駆動型・モデルフリーRL研究を促進する。
• 需要応答のための RL アプローチを実装・共有・再現・比較するための再利用可能なオープン環境を提供する。
• 都市エネルギー管理における研究間の再現性と公正なベンチマーキングを促進する。
• 建物の分散制御を通じてピーク電力需要を削減する RL の可能性を示す。

提案手法

• エネルギー管理におけるマルチエージェントRLのためのOpenAI Gym環境として CityLearn を導入する。
• RLアルゴリズムの実装・共有・再現を可能にする環境設定とインタフェースを説明する。
• 需要応答シナリオにおけるRL手法のベンチマークと比較のためのフレームワークを提示する。
• 研究者間の競争を促進し、進展を加速するために CityLearn Challenge を組織する。

実験結果

リサーチクエスチョン

• RQ1 標準化されたRL環境は、需要応答と都市エネルギー管理における再現性と公正なベンチマークをどのように促進できるか？
• RQ2 CityLearn を用いてマルチエージェントRLは市規模のエネルギーシステムで有意義な需要応答とピーク抑制を達成できるか？
• RQ3 都市グリッドにおいて建物・負荷・エネルギー資源を現実的にモデル化する環境の設計上の重要な考慮点は何か？

主な発見

• CityLearn は需要応答の RL アプローチの実装・共有・再現・比較を可能にする。
• CityLearn Challenge は都市エネルギー管理の RL における進展を促進することが提案されている（組織的な詳細は要旨に参照）。
• この環境は建物レベルのエネルギー管理における分散制御とデータ駆動・モデルフリーRL手法をサポートする。
• アプローチは分散資源の協調制御を通じて電力需要のピークを削減することを目指している。