[論文レビュー] Deep Reinforcement Learning for Optimal Control of Space Heating

Ádám Nagy, Hussain Kazmi+2 more|arXiv (Cornell University)|May 10, 2018

Building Energy and Comfort Optimization参考文献 21被引用数 53

ひとこと要約

計算効率が高く、他手法と比較した新規の深層強化学習アルゴリズムを用いた空調暖房制御。さまざまな価格信号下でルールベース制御を5–10%改善。

ABSTRACT

Classical methods to control heating systems are often marred by suboptimal performance, inability to adapt to dynamic conditions and unreasonable assumptions e.g. existence of building models. This paper presents a novel deep reinforcement learning algorithm which can control space heating in buildings in a computationally efficient manner, and benchmarks it against other known techniques. The proposed algorithm outperforms rule based control by between 5-10% in a simulation environment for a number of price signals. We conclude that, while not optimal, the proposed algorithm offers additional practical advantages such as faster computation times and increased robustness to non-stationarities in building dynamics.

研究の動機と目的

• 正確な建物モデルに依存しない空間暖房のDRLベースの制御ポリシーを開発する。
• DRL制御器を従来のルールベースおよび他の制御手法と比較評価する。
• 建物ダイナミクスの非定常性に対する計算効率と頑健性を評価する。
• 複数の価格信号シナリオ全体で性能を評価する。

提案手法

• 空間暖房制御に特化した新規の深層強化学習アルゴリズムを提案する。
• 提案されたDRL手法をシミュレーションでルールベース制御および他の手法と比較評価する。
• さまざまな価格信号を用いたシミュレーション環境を用いて性能を評価する。
• 建物ダイナミクスの非定常性に対する計算効率と頑健性を比較する。
• エネルギーコスト削減と動的条件への適応性の観点から成果を分析する。

実験結果

リサーチクエスチョン

• RQ1 複数の価格信号にわたって、DRLベースの制御器はルールベース制御よりも空間暖房のエネルギーコストを低く抑えることができますか？
• RQ2 提案されたDRL制御器は計算効率が高く、非定常な建物ダイナミクスに対して頑健ですか？
• RQ3 動的な価格信号下で、DRL手法は既存の制御技術と比較してどのように性能を示しますか？
• RQ4 最適性を超えたDRLアプローチの実用的な利点（例：頑健性、適応性）は何ですか？

主な発見

• 提案されたDRLアルゴリズムは、複数の価格信号にわたるシミュレーションでルールベース制御を5–10%上回る。
• 他の手法と比較して計算効率が高い。
• DRLアプローチは建物ダイナミクスの非定常性への頑健性が高い。
• 他の既知の手法と比較して競争力のある性能を示す。