[論文レビュー] Transforming Cooling Optimization for Green Data Center via Deep Reinforcement Learning

Yuanlong Li, Yonggang Wen+2 more|arXiv (Cornell University)|Sep 15, 2017

Reinforcement Learning in Robotics参考文献 28被引用数 37

ひとこと要約

本稿では、監視データから直接学習することができるエンドツーエンドの深層強化学習（DRL）フレームワーク、冷却制御アルゴリズム（CCA）を提案する。この手法は、アクター・クリティックとオフポリシーのDDPGアルゴリズムに基づいており、データセンターの冷却を最適化する。シミュレーションでは11%の冷却エネルギー削減を達成し、実データトレースを用いた評価では最大15%の削減を達成した。これは、過剰に楽観的な性能推定を避けるために、低過小評価を是正する検証メカニズムを用いることで、保守的かつ信頼性の高い性能推定を実現している。

ABSTRACT

Cooling system plays a critical role in a modern data center (DC). Developing an optimal control policy for DC cooling system is a challenging task. The prevailing approaches often rely on approximating system models that are built upon the knowledge of mechanical cooling, electrical and thermal management, which is difficult to design and may lead to sub-optimal or unstable performances. In this paper, we propose utilizing the large amount of monitoring data in DC to optimize the control policy. To do so, we cast the cooling control policy design into an energy cost minimization problem with temperature constraints, and tap it into the emerging deep reinforcement learning (DRL) framework. Specifically, we propose an end-to-end cooling control algorithm (CCA) that is based on the actor-critic framework and an off-policy offline version of the deep deterministic policy gradient (DDPG) algorithm. In the proposed CCA, an evaluation network is trained to predict an energy cost counter penalized by the cooling status of the DC room, and a policy network is trained to predict optimized control settings when gave the current load and weather information. The proposed algorithm is evaluated on the EnergyPlus simulation platform and on a real data trace collected from the National Super Computing Centre (NSCC) of Singapore. Our results show that the proposed CCA can achieve about 11% cooling cost saving on the simulation platform compared with a manually configured baseline control algorithm. In the trace-based study, we propose a de-underestimation validation mechanism as we cannot directly test the algorithm on a real DC. Even though with DUE the results are conservative, we can still achieve about 15% cooling energy saving on the NSCC data trace if we set the inlet temperature threshold at 26.6 degree Celsius.

研究の動機と目的

• 複雑でモデル化が困難な熱的・機械的ダイナミクスのため、データセンターにおける最適でない、または不安定な冷却制御の課題に対処すること。
• 詳細なシステムモデルの必要性を回避する、データ駆動型でエンドツーエンドの制御ポリシーを構築すること。
• 実世界のデータセンター環境において、温度制約を維持したまま冷却エネルギー消費を削減すること。
• シミュレーションと実世界のデータトレースの両方で提案手法を検証し、実用的妥当性を確認すること。
• 実世界の展開において、過剰に楽観的なエネルギー削減推定を避けるために、低過小評価（DUE）検証メカニズムを導入すること。

提案手法

• CCAフレームワークは、歴史的監視データから直接制御ポリシーを学習するため、アクター・クリティック型の深層強化学習アーキテクチャを採用する。
• サンプル効率と学習安定性を向上させるために、Deep Deterministic Policy Gradient（DDPG）アルゴリズムのオフポリシーでオフラインなバージョンを採用する。
• 評価ネットワーク（クリティック）は、非適合な冷却状態に対してペナルティを伴うエネルギーコストを予測する。一方、ポリシー・ネットワーク（アクター）は、現在の負荷と天候入力をもとに最適な制御行動を出力する。
• 報酬関数は、エネルギーコストの最小化と温度制約の遵守を目的とし、ハイパーパrameter λ で制御されるペナルティ項を含む。
• 低過小評価（DUE）検証法を導入し、標準的な二乗誤差に代えて、温度予測の過小評価にのみペナルティを与える損失関数を採用することで、楽観的すぎる結果を回避する。
• 本手法はEnergyPlusシミュレーションプラットフォームおよび国立スーパーコンputィングセンター（NSCC）の実データトレースを用いて評価され、ラック電力、流量、供給温度などの状態特徴が使用された。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層強化学習アプローチは、従来の2段階モデルベース最適化を上回る性能を示せるか？
• RQ2 直接展開が不可能な状況下でも、DRLベースのポリシーは実世界のデータにどれほど一般化できるか？
• RQ3 ペナルティハイパーパrameter λ の選択が、エネルギー削減と温度適合性のトレードオフに与える影響は何か？
• RQ4 低過小評価（DUE）検証法は、標準的な検証法に比べ、より信頼性が高く保守的な性能推定を可能にするか？
• RQ5 学習されたポリシーは、安全なラックインlet温度を維持したまま、冷却エネルギー消費をどの程度削減できるか？

主な発見

• CCAアルゴリズムは、EnergyPlusシミュレーションプラットフォームにおいて、手動で設定されたベースラインと比較して約11%の冷却エネルギー削減を達成した。
• NSCCの実際のデータトレースでは、DUE検証法を用い、インレット温度しきい値を26.6°Cに設定した場合、最大15%の冷却エネルギー削減を達成した。
• DUE検証法は、温度予測における過小評価バイアスを効果的に低減し、より保守的で信頼性の高い性能推定を実現した。
• λ が増加するにつれて、エネルギー削減は減少したが、最大ラック温度は低下したため、効率性と熱的安心性の間の調整可能なトレードオフが示された。
• DRLモデルは、ノイズの多い実世界データ下でも、温度予測において平均絶対誤差（MAE）が0.1°C未満にとどまるなど、システムダイナミクスを的確に捉えていた。
• トレースベースのテストによる検証を通じて、ポリシー・ネットワークは負荷や天候の変化にかかわらず、最適な空気循環量を安定して予測する強靭性を示した。