[論文レビュー] Deep Reinforcement Learning for Smart Building Energy Management: A Survey.

Liang Yu, Shuqi Qin+4 more|arXiv (Cornell University)|Aug 12, 2020

Building Energy and Comfort Optimization被引用数 23

ひとこと要約

本調査は、複雑な動的特性、不確実性、および大規模な解空間といった課題を抱えるスマートビルエネルギーマネジメントにおける深層強化学習（DRL）の応用について包括的なレビューを提供する。DRL手法を分類し、単一サブシステム、マルチエナジーシステム、ビルマイクログリッドにおけるその応用をレビューし、リアルタイム性、適応性、および効率的なビルエネルギーオプティマイゼーションのための未解決課題と今後の研究方向性を特定する。

ABSTRACT

Global buildings consumed 30% of total energy and generated 28% of total carbon emission in 2018, which leads to economic and environmental concerns. Therefore, it is of great significance to reduce energy consumption, energy cost and carbon emission of buildings while maintaining user comfort. To this end, several challenges have to be addressed. Firstly, it is very challenging to develop a building thermal dynamics model that is both accurate and efficient enough for building control. Secondly, there are many kinds of uncertainties. Thirdly, there are many spatially and temporally operational constraints. Fourthly, building energy optimization problems may have extremely large solution spaces, which can not be solved in real-time by traditional methods. Fifthly, traditional building energy management methods have respective applicable premises, which means that they have low versatility when confronted with varying building environments. As a general artificial intelligence technology, deep reinforcement learning (DRL) has the potential of addressing the above challenges. Thus, this paper presents a comprehensive literature review on DRL for smart building energy management (SBEM). To be specific, we first introduce the fundamentals of DRL and provide the classification of DRL methods used in existing works related to SBEM. Then, we review the applications of DRL in a single building energy subsystem, multiple energy subsystems of buildings, and building microgrids, respectively. Furthermore, we identify the unsolved issues and point out the possible research directions of applying DRL. Finally, we summarize the lessons learned from this survey.

研究の動機と目的

• 2018年に世界のエネルギー消費の30%と排出量の28%を占めていたビルの増加するエネルギー消費と二酸化炭素排出量を低減するため。
• 低適応性、正確なモデルへの高い依存性、スケーラビリティの低さといった従来のビルエネルギーマネジメント手法の限界を克服するため。
• 高次元の状態空間と行動空間を有する複雑でリアルタイムなビルエネルギーオプティマイゼーション問題を解消するための深層強化学習（DRL）の可能性を評価するため。
• ビルエネルギーマネジメントに用いられるDRL手法を体系的に分類し、さまざまなシステム構成におけるそのパフォーマンスを分析するため。
• DRLベースのスマートビルエネルギーマネジメントを進歩させるために、未解決の課題を特定し、今後の研究方向性を提案するため。

提案手法

• 本論文は、スマートビルエネルギーマネジメント（SBEM）におけるDRL応用について、系統的文献レビューを実施し、単一エネルギーサブシステム、マルチエナジーシステム、ビルマイクログリッドに焦点を当てる。
• アーキテクチャおよびトレーニングパラダイムに基づいてDRL手法を分類し、たとえばDeep Q-Networks（DQN）、Proximal Policy Optimization（PPO）、Twin Delayed DDPG（TD3）などを含む。
• リアルタイム制御における不確実性、空間的・時間的制約、大規模な解空間の処理能力に基づいてDRLモデルを評価する。
• DRLとビル熱的ダイナミクスモデル、ビルエネルギーシステムシミュレーションの統合を分析する。
• 異なるビルタイプ、制御目的（例：エネルギーコスト、二酸化炭素排出量、ユーザー快適性）、シミュレーション環境におけるDRLパフォーマンスの比較分析を含む。
• 研究結果を統合し、モデル一般化、サンプル効率、実世界への展開におけるギャップを特定する。

実験結果

リサーチクエスチョン

• RQ1 異なるDRLアルゴリズムは、単一およびマルチエナジーシステムのエネルギー消費、コスト、排出量最適化においてどのように性能を発揮するか？
• RQ2 DRLを実世界のビルエネルギーマネジメントに適用する際の主な課題、たとえばモデルの正確性、一般化、サンプル効率は何か？
• RQ3 DRL手法は、占住状況、天候、機器の挙動における不確実性をどのように扱うか？
• RQ4 DRLベースのアプローチは、適応性とスケーラビリティの観点で従来の制御手法とどのように異なり、あるいは上回るか？
• RQ5 実用的なスマートビルエネルギーマネジメントシステムへのDRLの導入に向けた主な未解決課題と今後の研究方向性は何か？

主な発見

• DRL手法は、従来の制御手法では解けない複雑で高次元のビルエネルギーオプティマイゼーション問題に対処する強力な可能性を示している。
• PPO や DQN といった手法は、環境や占住状況の変化に伴っても、HVAC や照明システムの制御において、より高いサンプル効率と安定性を示している。
• マルチエージェントDRLアプローチは、空間的に分散したエネルギーサブシステムを効果的に管理し、協調性とスケーラビリティを維持している。
• DRLベースの制御器は、一部のシミュレーション研究ではエネルギーコストと二酸化炭素排出量を最大20％まで削減し、ユーザーの熱的快適性を維持している。
• 有望な結果が得られている一方で、建物タイプ間での一般化、リアルタイム推論速度、実世界展開における分布シフトへのロバストネスといった課題が残っている。
• 本調査は、標準化されたベンチマーク、トランスファー学習、解釈可能なDRLモデルの開発が、実用的導入を促進する上で極めて重要であると特定している。