[論文レビュー] Data-driven Model Predictive and Reinforcement Learning Based Control for Building Energy Management: a Survey

Huiliang Zhang, Sayani Seal+4 more|arXiv (Cornell University)|Jun 28, 2021

Smart Grid Energy Management被引用数 4

ひとこと要約

本調査は、建物エネルギーマネジメントにおけるデータ駆動型モデル予測制御（MPC）および強化学習（RL）ベースの手法をレビューし、不確実性の扱いやすさ、計算効率、モデル依存性の観点からその長所を比較する。本調査では、古典的MPCとデータ駆動型モデル、またはRL予測を組み合わせることで、信頼性、適応性、リアルタイム性能の間で実用的な妥協が得られると示している。

ABSTRACT

Building energy management is one of the core problems in modern power grids to reduce energy consumption while ensuring occupants' comfort. However, the building energy management system (BEMS) is now facing more challenges and uncertainties with the increasing penetration of renewables and complicated interactions between humans and buildings. Classical model predictive control (MPC) has shown its capacity to reduce building energy consumption, but it suffers from labor-intensive modelling and complex on-line control optimization. Recently, with the growing accessibility to the building control and automation data, data-driven solutions have attracted more research interest. This paper presents a compact review of the recent advances in data-driven MPC and reinforcement learning based control methods for BEMS. The main challenges in these approaches and insights on the selection of a control method are discussed.

研究の動機と目的

• データ駆動型MPCおよび建物エネルギーマネジメントシステム（BEMS）におけるRLベース制御の最近の進展について包括的なレビューを提供すること。
• 実世界のBEMS応用におけるデータ駆動型MPCおよびRL手法の実装に際しての主な課題を特定・分析すること。
• 計算複雑性、データ効率、安全性、耐障害性の観点から、データ駆動型MPCとRLベースのアプローチの違いを比較すること。
• 研究者およびエンジニアが特定の制御目的に基づいてこれらの手法を選択または統合する際の実用的知見を提供すること。
• MPCとRLを統合する可能性を検討し、MPCの信頼性とRLの適応性を活かした統合的戦略を提示すること。

提案手法

• 2015年から2021年までのデータ駆動型MPCおよびRLベースBEMSに関する最近の文献を体系的に調査し、制御戦略、モデリング技術、実装上の課題に焦点を当てる。
• データ駆動型MPCを2つのカテゴリーに分類する：(1) 古典的MPC向けの制御指向モデルを学習する（オンライン最適化の繰り返しを削減）、(2) データ駆動型モデルをMPCの予測モデルとして使用する。
• 古典的RLおよびディープRLアプローチをBEMSに適用した研究をレビューし、正確なシステムモデルが不要な状況下で、建物環境との相互作用を通じて最適ポリシーを学習できる能力に注目する。
• モデルベースRLをハイブリッドアプローチとして分析し、学習されたモデル（例：ニューラルネットワーク）を予測に使用することで、MPCの予測フレームワークに類似した構造をとることを強調する。
• 予測期間の長さ、データ効率、モデル依存性、計算複雑性、安全性といった主な基準に基づき、手法を比較する。
• MPCが安全性と耐障害性を保証し、データ駆動型モデルまたはRLが適応性を向上させ、正確な物理ベースのモデリングへの依存を低減するハイブリッドフレームワークを提案する。

実験結果

リサーチクエスチョン

• RQ1 建物エネルギーマネジメントにおいて、データ駆動型MPCとRLベース手法の計算複雑性およびリアルタイム実行可能性は、どのように比較できるか？
• RQ2 RLベースBEMSコントローラーの商業的展開を制限する主な課題として、データ効率、安全性、耐障害性の観点から何が挙げられるか？
• RQ3 データ駆動型MPCは、制御の信頼性を維持しつつ、古典的MPCの計算負荷をどのように軽減できるか？
• RQ4 MPCとRLをどのように意味的に統合することで、BEMS応用における両手法の長所を組み合わせられるか？
• RQ5 特定の建物エネルギーマネジメント目的に基づいて、制御戦略（MPC対RL）を選択する際の指針となる基準は何か？

主な発見

• データ駆動型MPCは、繰り返しのオンライン最適化を事前学習済みモデルに置き換えることで、オンライン計算時間を短縮し、リアルタイム実行可能性を向上させる。
• 古典的MPCは正確なシステムモデルに強く依存しており、多様な建物ではそのモデルの取得が困難で、複雑性と計算コストが増加する。
• RLベース手法は正確なモデリングへの依存を低減するが、特に高精度な建物シミュレーションではデータ効率が低く、サンプルの複雑性が高くなる。
• モデルベースRLはMPCと類似点を有するが、両者とも予測モデルを使用する。しかし、RLのポリシー学習は柔軟性に富むが、安全が求められる環境では予測が難しい。
• MPCとデータ駆動型モデルまたはRL予測を統合することで、信頼性、適応性、計算効率のバランスが取れた有望な道筋が示された。
• 進展は見られるが、多様な建物ストックにわたる十分な耐障害性と適応性が確保されていないため、データ駆動型MPCおよびRLは依然として広範な商業的展開には至っていない。