[论文解读] Deep Reinforcement Learning for Tropical Air Free-Cooled Data Center Control

Duc Van Le, Rongrong Wang+4 more|arXiv (Cornell University)|Dec 12, 2020

Reinforcement Learning in Robotics参考文献 29被引用 8

一句话总结

本文提出一种约束深度强化学习（cDRL）框架，用于优化热带地区空气自然冷却型数据中心的送风温度与相对湿度（RH）控制，在确保服务器安全的前提下最小化制冷能耗。该方法在新加坡实测数据中心的实测数据下，相较于无约束DRL和传统迟滞控制方法，在严格控制温湿度条件下，制冷能耗最高可降低25%。

ABSTRACT

Air free-cooled data centers (DCs) have not existed in the tropical zone due to the unique challenges of year-round high ambient temperature and relative humidity (RH). The increasing availability of servers that can tolerate higher temperatures and RH due to the regulatory bodies' prompts to raise DC temperature setpoints sheds light upon the feasibility of air free-cooled DCs in tropics. However, due to the complex psychrometric dynamics, operating the air free-cooled DC in tropics generally requires adaptive control of supply air condition to maintain the computing performance and reliability of the servers. This paper studies the problem of controlling the supply air temperature and RH in a free-cooled tropical DC below certain thresholds. To achieve the goal, we formulate the control problem as Markov decision processes and apply deep reinforcement learning (DRL) to learn the control policy that minimizes the cooling energy while satisfying the requirements on the supply air temperature and RH. We also develop a constrained DRL solution for performance improvements. Extensive evaluation based on real data traces collected from an air free-cooled testbed and comparisons among the unconstrained and constrained DRL approaches as well as two other baseline approaches show the superior performance of our proposed solutions.

研究动机与目标

• 解决在全年高温高湿的热带气候下运行空气自然冷却型数据中心的挑战。
• 通过将送风温度和RH控制在安全阈值内（例如≤37°C，≤65% RH），保障服务器性能与可靠性。
• 通过自适应的实时空气混合与温控策略，最小化制冷能耗。
• 开发并评估一种约束深度强化学习（cDRL）方法，确保在训练过程中对温度和RH施加物理约束。

提出的方法

• 将空气控制问题建模为马尔可夫决策过程（MDP），状态空间包括室外与室内温度、湿度、服务器负载及送风条件。
• 应用深度Q网络（DQN）学习控制策略，将环境状态映射为动作（如风扇转速、冷却盘管输出、混合阀位置）。
• 引入一种约束DRL框架，在奖励函数中加入惩罚项，以强制实施对送风温度和RH的硬性约束。
• 使用新加坡200多个传感器测试平台的真实世界数据轨迹，训练并验证DRL策略在真实气象与负载波动下的表现。
• 在仿真中将cDRL方法与无约束DRL（uDRL）基线方法及传统迟滞控制策略进行对比。
• 实施一种混合空气循环策略，通过受控地回用部分热回风来预处理室外空气，再输送至服务器。

(a) 3D view.

实验结果

研究问题

• RQ1 深度强化学习能否在有效最小化能耗的同时，有效控制热带空气自然冷却型数据中心的送风温度与RH？
• RQ2 与无约束DRL和传统迟滞控制相比，约束DRL在将温湿度维持在安全阈值内的表现如何？
• RQ3 在不同温湿度约束条件下（如32°C/65%、35°C/70%）对制冷能耗与控制稳定性有何影响？
• RQ4 来自物理测试平台的真实世界数据轨迹在多大程度上提升了DRL策略的泛化能力与鲁棒性？
• RQ5 在动态热带天气条件下，cDRL方法相较于uDRL和基线方法是否显著减少了约束违规（如RH > 65%）？

主要发现

• 在严格约束条件下（如32°C/65% RH），约束DRL（cDRL）方法实现了最低的平均制冷功耗，较基于迟滞控制的基线方法最高降低25%。
• cDRL在所有测试场景中均将送风温度与RH控制在要求阈值以下，且违规次数显著少于无约束DRL（uDRL）方法。
• 在放宽约束条件下（如40°C/80% RH），cDRL较迟滞控制方法降低了20–25%的制冷能耗，同时确保了安全裕度。
• uDRL方法表现出更高的温度与RH波动，表明其控制稳定性较差，尤其是在严格阈值条件下。
• 迟滞控制方法的能耗始终高于两种DRL方法，尤其在室外条件超出设定点时更为明显。
• 真实世界测试平台数据证实，服务器在送风温度高达37°C时仍能保持完整计算性能，验证了热带地区自然冷却的可行性。

(b) Top view.