[論文レビュー] PhysQ: A Physics Informed Reinforcement Learning Framework for Building Control

Gargya Gokhale, Bert Claessens+1 more|arXiv (Cornell University)|Nov 21, 2022

Building Energy and Comfort Optimization被引用数 4

ひとこと要約

PhysQ は、建物の熱的ダイナミクスを活用して、データ効率的で解釈可能な住宅暖房制御方策を学習する物理学的制約付き強化学習フレームワークである。物理的事前知識を適合Q反復アルゴリズムに統合することで、より少ない学習サンプルで、ルールベース制御および基本的なモデル予測制御（MPC）を上回り、約9%のコスト削減を達成した。

ABSTRACT

Large-scale integration of intermittent renewable energy sources calls for substantial demand side flexibility. Given that the built environment accounts for approximately 40% of total energy consumption in EU, unlocking its flexibility is a key step in the energy transition process. This paper focuses specifically on energy flexibility in residential buildings, leveraging their intrinsic thermal mass. Building on recent developments in the field of data-driven control, we propose PhysQ. As a physics-informed reinforcement learning framework for building control, PhysQ forms a step in bridging the gap between conventional model-based control and data-intensive control based on reinforcement learning. Through our experiments, we show that the proposed PhysQ framework can learn high quality control policies that outperform a business-as-usual, as well as a rudimentary model predictive controller. Our experiments indicate cost savings of about 9% compared to a business-as-usual controller. Further, we show that PhysQ efficiently leverages prior physics knowledge to learn such policies using fewer training samples than conventional reinforcement learning approaches, making PhysQ a scalable alternative for use in residential buildings. Additionally, the PhysQ control policy utilizes building state representations that are intuitive and based on conventional building models, that leads to better interpretation of the learnt policy over other data-driven controllers.

研究の動機と目的

• モデルベースのMPCとデータ駆動型RLの限界、特に高いモデル化コスト、モデルバイアス、および低いデータ効率性を解消すること。
• 従来のモデルベース制御とデータ集約型RLの間のギャップを埋めるために、学習プロセスに物理学的制約付き表現を組み込むこと。
• 熱的ダイナミクスに関する事前知識を用いて、建物制御のための強化学習におけるデータ効率性と方策の解釈可能性を向上させること。
• より少ないサンプル要件と物理的に意味のある状態表現を提供することで、住宅建物におけるRLベース制御のスケーラブルな展開を可能にすること。
• データ駆動型設定において、正確な物理学的事前知識が、高性能な制御方策を達成するために不可欠であることを検証すること。

提案手法

• PhysQ は、室内温度や質量温度などの建物の熱的ダイナミクスから、物理的に関連する隠れ状態表現を抽出する物理学的制約付きニューラルネットワーク（PhysNet）を用いる。
• これらの物理学的制約付き状態特徴を用いて、低次元のQ関数を学習する適合Q反復（FQI）アルゴリズムを採用し、サンプル効率の高い方策学習を実現する。
• 特にダイナミクスおよびエンコーダーモジュールにおいて、建物の熱的ダイナミクスに関する事前知識をニューラルネットワークアーキテクチャに統合することで、表現学習をガイドする。
• エネルギー消費コストの最小化と熱的快適性制約の両立を図る報酬関数を用いてQ関数を訓練し、制御行動は二値の暖房状態に制限される。
• 自作シミュレータを用いて、業務としての通常運用（BAU）制御、標準的なFQI-NNエージェント、およびモデル予測制御（MPC）と比較して、PhysQの性能を評価した。
• 誤った物理学的事前知識の影響を評価するためのアブレーションスタディでは、「誤ったPhysQ」バージョンと正しいPhysQを比較し、正確な物理的知識の必要性を示した。

実験結果

リサーチクエスチョン

• RQ1 物理学的制約付き強化学習フレームワークは、住宅建物暖房におけるデータ要件を削減しつつ、制御性能を維持または向上させることができるか？
• RQ2 正確な物理的事前知識の統合が、データ駆動型強化学習設定における学習方策の質とロバスト性に与える影響は何か？
• RQ3 PhysQ は、経済的コスト削減およびエネルギー効率性の観点から、従来のルールベースおよびモデルベース制御と比較して、どの程度優れているか？
• RQ4 物理的に解釈可能な状態表現の使用は、標準的な深層強化学習エージェントと比較して、学習方策の解釈性を向上させることができるか？
• RQ5 PhysQ の性能は、特に誤った物理モデルが使用された場合に、どの程度誤差に敏感であるか？

主な発見

• PhysQ は、業務としての通常運用（BAU）のルールベース制御と比較して、エネルギーコストを約9%低減し、顕著な経済的利点を示した。
• 従来のFQI-NNエージェントと比較して、PhysQ はより少ない学習サンプルで学習を完了した。これは、物理学的制約付き表現によるデータ効率性の向上を裏付けた。
• アブレーション実験では、正確な物理学的事前知識を用いたPhysQと、誤った事前知識を用いたバージョンとの間で明確な性能差が確認され、正確な物理的知識が高品質な方策を達成するために不可欠であることが証明された。
• 標準的なFQI-NNエージェントおよび基本的なMPC制御と比較して、PhysQ はコスト削減およびサンプル効率性の両面で優れており、実世界の展開状況において優位性を示した。
• 物理的に意味のある状態特徴（例：室内温度および熱的質量温度）の使用により、学習方策の解釈性が向上し、建物制御における説明可能なAIへの道筋が示された。
• 本フレームワークは、実世界への展開に強く有望であり、今後の研究では現地での検証および外部変数の予測誤差に対するロバストネスの向上が焦点となる。