[論文レビュー] Using Reinforcement Learning for Demand Response of Domestic Hot Water Buffers: a Real-Life Demonstration

Oscar De Somer, Ana Soares+4 more|arXiv (Cornell University)|Mar 16, 2017

Smart Grid Energy ManagementEngineering参考文献 12被引用数 17

ひとこと要約

本論文では、実際の住宅建物における家庭用お湯（DHW）バッファ加熱サイクルを最適化するモデルベース強化学習（RL）アルゴリズムを提案している。この手法により、現地に設置された太陽光発電（PV）エネルギーの自己消費を最大化する。住民の行動を学習し、PV発電量を予測し、システムの動的特性を考慮することで、4か月間にわたる6戸の現場実験において、サーモスタット制御と比較して20%以上のPV自己消費率の向上が達成された。

ABSTRACT

This paper demonstrates a data-driven control approach for demand response in real-life residential buildings. The objective is to optimally schedule the heating cycles of the Domestic Hot Water (DHW) buffer to maximize the self-consumption of the local photovoltaic (PV) production. A model-based reinforcement learning technique is used to tackle the underlying sequential decision-making problem. The proposed algorithm learns the stochastic occupant behavior, predicts the PV production and takes into account the dynamics of the system. A real-life experiment with six residential buildings is performed using this algorithm. The results show that the self-consumption of the PV production is significantly increased, compared to the default thermostat control.

研究の動機と目的

• 既存の熱蓄熱装置を活用したデータ駆動型制御戦略を開発し、住宅向け需要応答を可能にすること。
• 住居内でのローカルに発電された太陽光発電（PV）電力の自己消費を最大化するとともに、住民の快適性を損なわないようにすること。
• モデルベース強化学習（RL）アプローチの現実世界での性能を、実稼働状態の複数世帯への展開を対象として評価すること。
• 実生活環境下におけるRLベースのスケジューリングが、エネルギーシステムの柔軟性および電力網への影響に与える影響を評価すること。
• PV利用効率および電力消費の観点から、RL制御と従来のサーモスタット制御の性能を比較すること。

提案手法

• DHWバッファ加熱サイクルのスケジューリングという逐次的意思決定問題を解くために、モデルベース強化学習（RL）フレームワークを用いる。
• RLエージェントは、実際のシステム相互作用から学習し、確率的であるとされる住民の給湯使用行動をモデル化し、時間経過に伴うPV発電量を予測する。
• 状態空間には、DHWバッファの充電状態（SoC）、時刻、および予測されたPV発電量が含まれる。行動は、加熱をT_min（45°C）に設定、T_max（55°C）に設定、または加熱を延期するの3つである。
• Q関数は、実システムの軌道データセットを用いて学習され、エネルギーコストの最小化とPV自己消費の最大化に向けた最適方策を近似する。
• アルゴリズムはリcedeving horizonアプローチを採用しており、リアルタイムのセンサデータ（温度、流量、電力使用量）に基づいて意思決定を更新する。
• システムはオランダの6戸の改修済み社会住宅に導入されており、各戸にスマートヒートポンプとPVパネルが設置されている。

実験結果

リサーチクエスチョン

• RQ1 モデルベース強化学習アルゴリズムは、実際の住宅建物において、現地に発電されたPV発電量の自己消費を最大化する目的でDHWバッファ加熱サイクルを効果的にスケジューリングできるか？
• RQ2 PV自己消費率および総合的な電力使用量という観点から、RLベースの制御は従来のサーモスタット制御と比べてどのように異なるか？
• RQ3 住民の行動とPV発電量をどれほど正確に予測し、リアルタイム制御方策に統合できるか？
• RQ4 実世界の導入状況において、RL制御が家庭全体の電力消費量および空間加熱使用量に与える影響は何か？
• RQ5 異なる季節や気象状況・居住状況の変化に対しても、RL方策はどれほど頑健であるか？

主な発見

• RLベースの制御では、サーモスタット制御時と比較して、PV自己消費率が16.94%から6.25%に上昇し、2倍以上の改善が達成された。
• 全住宅における総合的なPV自己消費率は、RL制御導入後、電力使用全体の46.69%から58.52%に上昇した。
• 1日あたりの電力消費量が10%増加（20.17 kWhから22.13 kWh）したが、その大部分はDHWではなく、空間加熱の増加に起因していた。
• 空間加熱が捕捉するPVの割合はわずかに上昇し、18.62%から19.71%に増加したため、RL方策が主にDHWバッファの活用を目的としていたことが示された。
• 時間別消費プロファイルから、RL方策がDHW加熱サイクルをピークPV発電時刻に効果的にシフトさせていることが明らかになった。
• 本結果は、既存の熱蓄熱インfraを活用することで、強化学習が住宅建物における局所的エネルギー利用を顕著に向上させられることを示している。