[論文レビュー] Deadline-Aware, Energy-Efficient Control of Domestic Immersion Hot Water Heater

Muhammad Umar Hayat Khan, Bivin Pradeep+1 more|arXiv (Cornell University)|Jan 26, 2026

Building Energy and Comfort Optimization被引用数 0

ひとこと要約

要約: 論文は家庭用浸漬ヒーターのデッドライン認識制御問題を提案し、PPOポリシー、MCTSプランナー、バングバングベースラインを同一の物理モデル下で比較する。PPOが Horizon 全体で最も低いエネルギー使用量を達成することを示す。

ABSTRACT

Typical domestic immersion water heater systems are often operated continuously during winter, heating quickly rather than efficiently and ignoring predictable demand windows and ambient losses. We study deadline-aware control, where the aim is to reach a target temperature at a specified time while minimising energy consumption. We introduce an efficient Gymnasium environment that models an immersion hot water heater with first-order thermal losses and discrete on and off actions of 0 W and 6000 W applied every 120 seconds. Methods include a time-optimal bang-bang baseline, a zero-shot Monte Carlo Tree Search planner, and a Proximal Policy Optimisation policy. We report total energy consumption in watt-hours under identical physical dynamics. Across sweeps of initial temperature from 10 to 30 degrees Celsius, deadline from 30 to 90 steps, and target temperature from 40 to 80 degrees Celsius, PPO achieves the most energy-efficient performance at a 60-step horizon of 2 hours, using 3.23 kilowatt-hours, compared to 4.37 to 10.45 kilowatt-hours for bang-bang control and 4.18 to 6.46 kilowatt-hours for MCTS. This corresponds to energy savings of 26 percent at 30 steps and 69 percent at 90 steps. In a representative trajectory with a 50 kg water mass, 20 degrees Celsius ambient temperature, and a 60 degrees Celsius target, PPO consumes 54 percent less energy than bang-bang control and 33 percent less than MCTS. These results show that learned deadline-aware control reduces energy consumption under identical physical assumptions, while planners provide partial savings without training and learned policies offer near-zero inference cost once trained.

研究の動機と目的

• 家庭用温水加熱におけるエネルギー使用の削減を、熱供給を予測可能なデッドラインに合わせて行う動機づけ。
• 公正な手法比較のため、一次热ダイナミクスを用いた透明で再現可能なシミュレーション環境を構築する。
• 固定された物理とタイミングの下で、学習ベースのポリシー（PPO）をモデルベースの計画（MCTS）と時間最適なバング-バングベースラインと比較評価する。
• 初期温度、デッドライン、目標温度の組み合わせでエネルギー節約を定量化し、導入時のトレードオフを明らかにする。

提案手法

• 一次熱損失と0または6000 Wの離散オン/オフ作動を120秒ごとに行う単一タンク浸漬ヒーターをモデル化。
• 同一の物理を保証するため、パラメータを固定した軽量なGymnasium環境を使用。
• 時間最適なバング-バングベースライン、ゼロショットのモンテカルロ木探索プランナー、PPOエージェントを比較。
• PPOを250万環境ステップで訓練し、初期温度、デッドライン、目標温度のスイープに対してMCTSとバング-バングの性能を評価。

実験結果

リサーチクエスチョン

• RQ1 デッドライン認識制御戦略は、所定時間内に目標温度を満たしつつエネルギー使用を低減できるか。
• RQ2 同一の物理条件下で、学習ポリシー（PPO）はモデルベース計画（MCTS）や単純なバング-バング制御と比較してどうか。
• RQ3 初期条件、デッドライン、目標の変化に対して、エネルギー節約と挙動の差（オーバーシュート、タイミング等）はどうなるか。
• RQ4 デバイスレベルの給湯における計画ベースとポリシーベースアプローチの導入上のトレードオフは何か。

主な発見

• PPOはすべてのシナリオで最も低いエネルギーを達成し、狭い分散を伴うエネルギーパレートフロンティアを形成する。
• 代表的な60ステップのホライゾンケースでは、PPOが3.23 kWhを使用する一方、バング-バングは4.37–10.45 kWh、MCTSは4.18–6.46 kWhを使用し、30ステップと90ステップでそれぞれ26%と69%の削減を達成。
• 代表的な軌道（50 kg、周囲温度20 C、目標60 C）に対して、PPOはバング-バングに対して54%、MCTSに対して33%のエネルギー節約を提供。
• ゼロショットMCTSはバング-バングより部分的な節約を示すが、端末温度の分散が大きく、オーバーシュート/アンダーシュートが生じることがある。
• バング-バングは最もエネルギー効率が低く、開始時から全力で加熱し、高エネルギーコストでのみ目標を達成する；MCTSはバング-バングよりは上回るが、PPOには及ばない。