[論文レビュー] District Cooling System Control for Providing Operating Reserve based on Safe Deep Reinforcement Learning

Peipei Yu, Hongxun Hui+3 more|arXiv (Cornell University)|Dec 21, 2021

Smart Grid Energy Management被引用数 5

ひとこと要約

本稿は、電力系統における運転备用を提供するため、地域冷暖房システム（DCS）に向けたモデルフリーな安全な深層強化学習（safe-DRL）フレームワークを提案する。安全層を統合して電力制約を遵守し、回復段階における電力の急増を防ぐ自己適応型報酬関数を導入することで、熱的快適性とシステムの安全性を確保するとともに、電力上限の遵守と滑らかな回復を実現する。実際のDCSを用いた数値実験により検証された。

ABSTRACT

Heating, ventilation, and air conditioning (HVAC) systems are well proved to be capable to provide operating reserve for power systems. As a type of large-capacity and energy-efficient HVAC system (up to 100 MW), district cooling system (DCS) is emerging in modern cities and has huge potential to be regulated as a flexible load. However, strategically controlling a DCS to provide flexibility is challenging, because one DCS services multiple buildings with complex thermal dynamics and uncertain cooling demands. Improper control may lead to significant thermal discomfort and even deteriorate the power system's operation security. To address the above issues, we propose a model-free control strategy based on the deep reinforcement learning (DRL) without the requirement of accurate system model and uncertainty distribution. To avoid damaging "trial & error" actions that may violate the system's operation security during the training process, we further propose a safe layer combined to the DRL to guarantee the satisfaction of critical constraints, forming a safe-DRL scheme. Moreover, after providing operating reserve, DCS increases power and tries to recover all the buildings' temperature back to set values, which may probably cause an instantaneous peak-power rebound and bring a secondary impact on power systems. Therefore, we design a self-adaption reward function within the proposed safe-DRL scheme to constrain the peak-power effectively. Numerical studies based on a realistic DCS demonstrate the effectiveness of the proposed methods.

研究の動機と目的

• リアルタイムでの運転備蓄供与を目的とした、不確実な冷暖房需要を伴う大規模かつ複雑なDCSを制御する課題に対処すること。
• DRL学習中の不安全な「試行錯誤」行動を回避することで、システム運用の安全性を確保すること。
• DCSの備蓄サービス終了後の回復段階におけるピーク電力の再発を回避することで、電力システムへの二次的影響を軽減すること。
• 電力削減および回復段階の両方において、多様な建物の室内熱的快適性を維持すること。
• 正確なシステムモデルや不確実性分布の事前知識を必要としないモデルフリー制御戦略の開発

提案手法

• 深層強化学習（DRL）エージェントを用いて、リアルタイムでの電力調整のためのDCSの冷却水質量流量を制御する。
• 学習段階で、許容可能な最大電力消費量などの重要な制約を遵守するため、DRLフレームワークに安全層を統合する。
• 回復段階における電力の急激な上昇をペナルティ化する自己適応型報酬関数を設計し、ピーク電力の再発を抑制する。
• DCSの正確な熱的動的モデルや需要不確実性分布の知識に依存しないモデルフリーな手法である。
• 実際のDCSの履歴データを用いてDRLエージェントを学習させ、温度偏差を最小限に抑えつつ電力上限内に収めることが目的である。
• 安全なDRLフレームワークは、電力削減および回復段階の両方において、DCSが安全限界内に常に運転されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーなDRLアプローチは、熱的快適性を維持しながら、運転備蓄供与を効果的に行えるか？
• RQ2 DRL学習中の不安全な行動をどのように回避することで、システム運用の安全性を確保できるか？
• RQ3 提案手法は、DCSの回復段階における電力の再発をどの程度抑制できるか？
• RQ4 サービス期間と電力上限レベルの違いが、DCSの運転備蓄供与性能に与える影響は何か？
• RQ5 安全なDRLエージェントは、最小限の再学習で類似したDCS構成に一般化可能か？

主な発見

• 全テストシナリオにおいて、DCSの運用電力は60 MWの電力上限を常に下回り、備蓄供与中の安全性が確保された。
• すべての建物における温度偏差は、設定値から±1°Cの範囲内に保たれ、規制期間中を通じて熱的快適性が維持された。
• 安全なDRL手法は電力の再発を効果的に抑制し、PIコントローラーと比較して水および風の質量流量の回復が遅く滑らかになった。
• サービス期間が30分を超えた場合、温度偏差は最大1.5°Cまで上昇し、長時間の規制に伴う性能低下が示された。
• 45 MW未満の電力上限では、物理的流量制限のため要件を満たせず、温度偏差が顕著に増加した。
• さまざまな期間および電力上限のシナリオにおいて、本手法は頑健性を示し、中程度の期間と高い電力上限で最適な性能が得られた。