[論文レビュー] Meta-Reinforcement Learning for Building Energy Management System

Huiliang Zhang, Di Wu+2 more|arXiv (Cornell University)|Oct 23, 2022

Smart Grid Energy Management被引用数 11

ひとこと要約

本稿では、タスクレベルおよびグループレベルの適応を活用することで、建物エネルギーマネジメントシステム（EMS）のポリシー学習を高速化するメタ強化学習フレームワーク、MetaEMSを提案する。多様な建物環境からのメタ学習知識でポリシーを初期化することで、MetaEMSは収束が早く、エネルギーコストをより効果的に削減する。全テスト気候条件下で、MAML や RL-MPC、ランダム初期化といったベースラインを上回り、平均日最大需要が最大13.58%低減される。

ABSTRACT

The building sector is one of the largest contributors to global energy consumption. Improving its energy efficiency is essential for reducing operational costs and greenhouse gas emissions. Energy management systems (EMS) play a key role in monitoring and controlling building appliances efficiently and reliably. With the increasing integration of renewable energy, intelligent EMS solutions have received growing attention. Reinforcement learning (RL) has recently been explored for this purpose and shows strong potential. However, most RL-based EMS methods require a large number of training steps to learn effective control policies, especially when adapting to unseen buildings, which limits their practical deployment. This paper introduces MetaEMS, a meta-reinforcement learning framework for EMS. MetaEMS improves learning efficiency by transferring knowledge from previously solved tasks to new ones through group-level and building-level adaptation, enabling fast adaptation and effective control across diverse building environments. Experimental results demonstrate that MetaEMS adapts more rapidly to unseen buildings and consistently outperforms baseline methods across various scenarios.

研究の動機と目的

• 深層強化学習（DRL）が建物エネルギーマネジメントシステム（EMS）に適用される際、数百万ステップにわたる学習を要するという、データの非効率性を解消すること。
• 変化する建物ダイナミクスや不確実なパrameterを有する動的かつ現実世界のEMS環境において、DRLエージェントの一般化性能が低いという課題を克服すること。
• 最小限のデータで新しい建物に迅速に適応できる、メタ学習に基づくフレームワークを開発し、データの効率性を向上させること。
• 動的な電力料金を考慮したヒーティング・換気・空調（HVAC）、エネルギー貯蔵、再生可能エネルギー統合の最適化を通じて、エネルギーコストの低減とグリッドの信頼性向上を図ること。
• 正確な建物モデルを必要とせず、多様な気候帯や建物タイプに一般化可能な、強固で移譲可能な制御ポリシーを構築すること。

提案手法

• 複数の建物環境において、DRLポリシーの普遍的初期化を学習するため、MAMLスタイルの最適化を用いてメタ強化学習を適用する。
• 建物レベルおよびグループレベルの適応を統合することで、数ステップの勾配更新で新しい建物に対して高速なファインチューニングが可能になる。
• 階層的なメタ学習目的関数を用い、基本ポリシー初期化と新しいタスク（すなわち、新しい建物や気候）への高速適応を同時に最適化する。
• 米国4地域の気候帯をカバーするシミュレーテッド建物データを用いて学習を行い、エネルギーコスト、負荷形状、ピーク需要のバランスを取る報酬関数を採用する。
• ポリシー勾配法（例：PPO）を用いてポリシーを学習し、タスクの分布全体における期待損失を最小化するためのメタ最適化を実施する。
• フレームワークは、再生可能エネルギー発電、蓄電、制御可能な負荷を含む実世界のEMSをシミュレートするCityLearnベンチマーク環境で評価される。

実験結果

リサーチクエスチョン

• RQ1 メタ強化学習は、新規の建物環境において安定的かつ低コストな制御を達成するためのDRLエージェントが要するエピソード数を顕著に削減できるか？
• RQ2 異なる気候条件下で、MetaEMSは標準DRL、MAML、事前学習ベースラインと比較して、エネルギーコスト、ピーク需要、ランピング性能の面でどのように差をつけるか？
• RQ3 建物レベルおよびグループレベルの適応を併用することで、メタ学習されたポリシーの一般化性能と安定性はどの程度向上するか？
• RQ4 外気温、電力料金、再生可能エネルギー発電プロファイルの変動といった分布シフトの下でも、MetaEMSは安定した性能を維持できるか？
• RQ5 メタ学習された初期化は、実世界の展開状況において、ランダム初期化や事前学習重みよりも速やかに収束を達成できるか？

主な発見

• MetaEMSは全4地域の気候帯において、平均エネルギーコストが最低であり、最良のベースライン（RL-MPC）と比較して5.27%のコスト削減を達成した。
• MetaEMSは年間ピーク需要を3.80%、平均日最大需要を13.58%低減し、グリッドの信頼性向上に顕著な寄与を示した。
• メタテストでは、MetaEMSはわずか2エピソードで収束したが、MAML やランダム初期化は4〜5エピソードを要し、学習トレンドが不安定であった。
• MetaEMSはランピング性能で6.01%の改善を達成し、負荷プロファイルの形状改善とグリッドへのストレス低減を示した。
• MetaEMSは全4地域の気候帯において、安定的かつ迅速な適応を維持した。環境の分布シフトに対しても強固な一般化性能と耐性を示した。
• アブレーションスタディにより、最適なデータ効率性と性能を達成するには、建物レベルおよびグループレベルの適応の両方が不可欠であることが確認された。