[論文レビュー] Reinforcement Learning Testbed for Power-Consumption Optimization

Takao Moriyama, Giovanni De Magistris+4 more|arXiv (Cornell University)|Aug 21, 2018

Heat Transfer and Optimization参考文献 12被引用数 13

ひとこと要約

本論文では、オープンソースのEnergyPlusシミュレーションテストベッドを用いて、従来のモデルベース制御に代わる、深層強化学習（DRL）に基づくデータセンターコolingシステム用コントローラーを提案する。電力消費と温度安定性のバランスを取る報酬関数を最適化することで、DRLエージェントは、安全な温度範囲を維持しながら、内蔵コントローラーよりも22%低い電力使用量を達成した。

ABSTRACT

Common approaches to control a data-center cooling system rely on approximated system/environment models that are built upon the knowledge of mechanical cooling and electrical and thermal management. These models are difficult to design and often lead to suboptimal or unstable performance. In this paper, we show how deep reinforcement learning techniques can be used to control the cooling system of a simulated data center. In contrast to common control algorithms, those based on reinforcement learning techniques can optimize a system's performance automatically without the need of explicit model knowledge. Instead, only a reward signal needs to be designed. We evaluated the proposed algorithm on the open source simulation platform EnergyPlus. The experimental results indicate that we can achieve 22% improvement compared to a model-based control algorithm built into the EnergyPlus. To encourage the reproduction of our work as well as future research, we have also publicly released an open-source EnergyPlus wrapper interface directly compatible with existing reinforcement learning frameworks.

研究の動機と目的

• データセンターコolingシステムにおけるモデルベース制御の非効率性と複雑さに対処すること。
• 明示的なシステムモデルを必要とせず、最適なセットポイントポリシーを学習できる、データ駆動型でモデルフリーな制御アプローチを、深層強化学習（DRL）を用いて開発すること。
• 熱的制約を維持しながら電力消費を最小限に抑えることで、データセンターエネルギー効率を向上させること。
• 再現可能性と今後の研究を可能にするために、EnergyPlus用の公開可能でGym互換のDRL環境をリリースすること。

提案手法

• 著者らは、OpenAI Gymインターフェースと互換性を持つオープンソースのシミュレーションラッパー、EnergyPlusEnvを開発し、DRLエージェントとEnergyPlusシミュレーションを接続した。
• DRLエージェントは、TRPO（Trust Region Policy Optimization）を用いて、冷媒ファン、冷却用蒸発器（DXコイル）、冷却水コイル、ファンなどの冷却部品のセットポイント温度を調整する制御ポリシーを学習する。
• 環境は、ゾーン温度、屋外気象条件、電力消費量といった状態変数を公開し、電力使用量と温度偏差ペナルティに基づいた報酬信号を提供する。
• 報酬関数は、高い電力消費と許容範囲外の温度（[22.0 °C, 25.0 °C]）をペナルティ対象とすることで、エネルギー効率と熱的安定性を促進するように設計されている。
• 一般化性能を評価するために、複数の気象データセット（CA、CO、FL）を用いて訓練し、多様な気候条件下での評価を実施した。
• DRLエージェントは、内蔵のセットポイントマネージャーとVAVファンコントローラーに置き換えられ、冷却戦略のエンドツーエンド学習が可能になった。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、従来のモデルベース制御に比べ、データセンターコolingの電力消費を低減する点で優れているか？
• RQ2 DRLコントローラーの性能は、異なる気象条件や気候帯においてどのように一般化されるか？
• RQ3 DRLエージェントは、システムモデルに依存せずに、エネルギー使用量を最小限に抑えつつ、どの程度の熱的安定性を維持できるか？
• RQ4 公開されたGym互換のシミュレーション環境は、データセンターエネルギー最適化分野における再現可能で拡張可能な研究を可能にするか？

主な発見

• DRLベースのコントローラーは、5つのテスト用気象データセット全体で、ベースラインのモデルベースコントローラーよりも平均で22.1%低い電力消費量を達成した。
• CA-CO-FLの気象データを統合して訓練したTRPOエージェントは、平均で98.3 kWの電力使用量に抑えたのに対し、ベースラインは126.2 kWであった。
• DRLエージェントでは温度制御が著しく安定した：標準偏差は0.28 °C（ベースラインは0.40 °C）に低下し、99.6%の測定値が[22.0 °C, 25.0 °C]の範囲内に収束した。
• DRLコントローラーは、高温（FL）および低温（CO）地域を含む多様な気候条件下でも一貫した性能を示し、すべてのテスト条件下でベースラインを上回った。
• オープンソースのEnergyPlusラッパーはGitHubに正しくリリースされ、既存のDRLフレームワークとの統合が可能になり、今後の研究を促進した。
• 結果から、DRLが詳細なシステムモデルを必要とせず、複雑な現実世界のHVACシステムを効果的に最適化できることを示した。