[논문 리뷰] Deep Reinforcement Learning for Tropical Air Free-Cooled Data Center Control

Duc Van Le, Rongrong Wang외 4명|arXiv (Cornell University)|2020. 12. 12.

Reinforcement Learning in Robotics참고 문헌 29인용 수 8

한 줄 요약

이 논문은 열대 기후의 에어 프리쿨드 데이터센터에서 냉각 에너지를 최소화하면서 서버 안전성을 확보하기 위해 공기 온도와 상대습도(RH) 제어를 최적화하기 위한 제약이 있는 딥 강화학습(cDRL) 프레임워크를 제안한다. 실제 싱가포르의 테스트베드에서 확보한 실세계 데이터를 사용하여 엄격한 RH 및 온도 제약 조건 하에서 최대 25%의 냉각 에너지 절감을 이룩했으며, 제약이 없는 DRL 및 전통적인 히스테리시스 기반 제어 방식보다 뛰어난 성능을 보였다.

ABSTRACT

Air free-cooled data centers (DCs) have not existed in the tropical zone due to the unique challenges of year-round high ambient temperature and relative humidity (RH). The increasing availability of servers that can tolerate higher temperatures and RH due to the regulatory bodies' prompts to raise DC temperature setpoints sheds light upon the feasibility of air free-cooled DCs in tropics. However, due to the complex psychrometric dynamics, operating the air free-cooled DC in tropics generally requires adaptive control of supply air condition to maintain the computing performance and reliability of the servers. This paper studies the problem of controlling the supply air temperature and RH in a free-cooled tropical DC below certain thresholds. To achieve the goal, we formulate the control problem as Markov decision processes and apply deep reinforcement learning (DRL) to learn the control policy that minimizes the cooling energy while satisfying the requirements on the supply air temperature and RH. We also develop a constrained DRL solution for performance improvements. Extensive evaluation based on real data traces collected from an air free-cooled testbed and comparisons among the unconstrained and constrained DRL approaches as well as two other baseline approaches show the superior performance of our proposed solutions.

연구 동기 및 목표

• 연중 내내 고온 고습도를 특징으로 하는 열대 기후에서 운영되는 에어 프리쿨드 데이터센터의 과제를 해결하기 위해.
• 서버 성능과 신뢰성을 확보하기 위해 공기 공급 온도와 RH를 안전한 한계 이내로 제어하기 위해 (예: ≤37°C, ≤65% RH).
• 공기 혼합 및 온도 조절의 적응적 실시간 제어를 통해 냉각 에너지 소비를 최소화하기 위해.
• 훈련 중에 물리적 제약 조건을 강제하는 온도 및 RH에 대한 제약이 있는 딥 강화학습(cDRL) 접근법을 개발하고 평가하기 위해.

제안 방법

• 외부 및 실내 온도, 습도, 서버 부하, 공기 공급 조건를 포함한 상태 공간을 갖는 마르코프 결정 과정(MDP)으로 공기 제어 문제를 수립한다.
• 딥 Q넷(DQN)을 적용하여 환경 상태에서 행동(예: 팬 속도, 냉각 코ils 출력, 혼합 밸브 위치)으로 매핑하는 제어 정책을 학습한다.
• 공기 공급 온도 및 RH에 대한 디지털 제약 조건을 강제하기 위해 보상 함수에 페널티 항을 통합한 제약이 있는 DRL 프레임워크를 도입한다.
• 싱가포르의 200개 이상의 센서를 갖춘 테스트베드에서 확보한 실세계 데이터 트레이스를 활용하여 실제 기상 및 워크로드 변동 조건 하에서 DRL 정책을 훈련하고 검증한다.
• 모의 실험에서 제약이 없는 DRL(uDRL) 기반 및 전통적인 히스테리시스 기반 제어 정책과 cDRL 접근법을 비교한다.
• 외부 공기를 서버에 공급하기 전에 제어된 양의 뜨거운 순환 공기를 재순환시켜 공기를 조절하는 하이브리드 공기 혼합 전략을 구현한다.

(a) 3D view.

실험 결과

연구 질문

• RQ1 딥 강화학습이 열대 기후의 에어 프리쿨드 데이터센터에서 에너지 소비를 최소화하면서도 공기 공급 온도와 RH를 효과적으로 제어할 수 있는가?
• RQ2 제약이 있는 DRL이 제약이 없는 DRL 및 전통적인 히스테리시스 기반 제어 방식과 비교해 안전한 한계 내에서 온도와 RH를 유지하는 데 얼마나 효과적인가?
• RQ3 다양한 온도 및 RH 제약 조건(예: 32°C/65%, 35°C/70%)이 냉각 에너지 소비와 제어 안정성에 어떤 영향을 미치는가?
• RQ4 실세계 테스트베드에서 확보한 데이터 트레이스가 DRL 정책의 일반화 및 강건성에 얼마나 기여하는가?
• RQ5 다이나믹한 열대 기상 조건 하에서 cDRL 접근법이 uDRL 및 기준 방법에 비해 제약 위반(예: RH > 65%)을 얼마나 줄이는가?

주요 결과

• 제약이 있는 DRL(cDRL) 접근법은 엄격한 제약 조건(예: 32°C/65% RH) 하에서 평균 냉각 전력 소비가 가장 낮았으며, 히스테리시스 기반 기준보다 최대 25% 낮았다.
• cDRL은 모든 시험 조건에서 공기 공급 온도와 RH를 요구 조건 이하로 유지했으며, 제약이 없는 DRL(uDRL) 접근법보다 훨씬 적은 위반 사례를 기록했다.
• 유연한 제약 조건(예: 40°C/80% RH) 하에서 cDRL은 히스테리시스 기반 방법 대비 냉각 에너지를 20~25% 절감했으며, 안전 여유를 확보했다.
• uDRL 접근법은 더 높은 온도 및 RH 변동성을 보이며, 특히 좁은 한계 조건에서 더 불안정한 제어를 보였다.
• 히스테리시스 기반 방법은 외부 조건이 설정값을 초과할 경우에 특히 더 많은 에너지를 소비했으며, 이는 DRL 접근법보다 일관되게 높은 에너지 소비를 보였다.
• 실세계 테스트베드 데이터는 서버가 공기 공급 온도가 37°C까지도 전산 성능을 유지는 가능함을 확인했으며, 열대 기후에서의 프리쿨링의 실현 가능성을 입증했다.

(b) Top view.