[논문 리뷰] Reinforcement Learning Testbed for Power-Consumption Optimization

Takao Moriyama, Giovanni De Magistris외 4명|arXiv (Cornell University)|2018. 08. 21.

Heat Transfer and Optimization참고 문헌 12인용 수 13

한 줄 요약

이 논문은 기존의 모델 기반 제어를 대체하기 위해 오픈소스 EnergyPlus 시뮬레이션 테스트베드를 사용하여 딥 강화학습(DRL) 기반 제어기를 제안한다. 전력 소비와 온도 안정성 간의 균형을 고려한 보상 함수를 최적화함으로써, DRL 에이전트는 내장된 제어기 대비 22% 낮은 전력 소비를 달성하면서도 안전한 온도 범위를 유지한다.

ABSTRACT

Common approaches to control a data-center cooling system rely on approximated system/environment models that are built upon the knowledge of mechanical cooling and electrical and thermal management. These models are difficult to design and often lead to suboptimal or unstable performance. In this paper, we show how deep reinforcement learning techniques can be used to control the cooling system of a simulated data center. In contrast to common control algorithms, those based on reinforcement learning techniques can optimize a system's performance automatically without the need of explicit model knowledge. Instead, only a reward signal needs to be designed. We evaluated the proposed algorithm on the open source simulation platform EnergyPlus. The experimental results indicate that we can achieve 22% improvement compared to a model-based control algorithm built into the EnergyPlus. To encourage the reproduction of our work as well as future research, we have also publicly released an open-source EnergyPlus wrapper interface directly compatible with existing reinforcement learning frameworks.

연구 동기 및 목표

• 데이터센터 냉각 시스템에서 모델 기반 제어의 비효율성과 복잡성을 해결하기 위해.
• 명시적인 시스템 모델이 필요 없이 최적의 세트포인트 정책을 학습할 수 있는 데이터 기반, 모델 프리 제어 접근법을 개발하기 위해.
• 열 제약 조건을 유지하면서 전력 소비를 최소화하여 데이터센터의 에너지 효율성을 향상시키기 위해.
• 재현 가능성과 향후 연구를 가능하게 하기 위해 공개된, Gym 호환 DRL 환경을 제공하기 위해.

제안 방법

• 저자들은 DRL 에이전트가 EnergyPlus 시뮬레이션과 상호작용할 수 있도록 OpenAI Gym 인터페이스에 호환되는 오픈소스 시뮬레이션 래퍼인 EnergyPlusEnv를 개발했다.
• DRL 에이전트는 냉각 장치(예: DX 코ils, CW 코일, 팬 등)의 세트포인트 온도를 조정하는 제어 정책을 학습하기 위해 신뢰 영역 정책 최적화(TRPO)를 사용한다.
• 환경은 존 온도, 외부 weahter 조건, 전력 소비와 같은 상태 변수를 노출하며, 전력 사용과 온도 이격 페널티 기반의 보상 신호를 제공한다.
• 보상 함수는 높은 전력 소비와 허용 가능한 범위 [22.0 °C, 25.0 °C]를 벗어난 온도를 페널티 처리함으로써 에너지 효율성과 열 안정성을 장려하도록 설계되었다.
• 일반화 능력을 평가하기 위해 다양한 기후 조건에서 테스트하기 위해 여러 기상 데이터셋(CA, CO, FL)을 사용하여 시스템을 훈련시켰다.
• DRL 에이전트는 내장된 세트포인트 매니저와 VAV 팬 컨트롤러를 대체하여 종단 간 최적의 냉각 전략 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 강화학습이 전통적인 모델 기반 제어보다 데이터센터 냉각 전력 소비를 줄이는 데서 뛰어난 성능을 보일 수 있는가?
• RQ2 DRL 컨트롤러의 성능은 다양한 기상 조건과 기후대에서 어떻게 일반화되는가?
• RQ3 시스템 모델에 의존하지 않고도 DRL 에이전트가 에너지 소비를 최소화하면서 열 안정성을 얼마나 잘 유지할 수 있는가?
• RQ4 공개된, Gym 호환 시뮬레이션 환경을 통해 재현 가능하고 확장 가능한 데이터센터 에너지 최적화 연구를 어떻게 가능하게 할 수 있는가?

주요 결과

• DRL 기반 제어기는 다섯 개의 테스트 기상 데이터셋 전반에서 기준 모델 기반 제어기 대비 평균 전력 소비가 22.1% 감소했다.
• CA-CO-FL 기상 데이터를 병합해 훈련한 TRPO 에이전트는 기준 대비 평균 98.3 kW로 전력 소비를 줄였으며, 기준은 126.2 kW였다.
• DRL 에이전트를 사용할 경우 온도 제어가 훨씬 더 안정적이었으며, 표준편차는 0.28 °C로 감소(기준 0.40 °C), 전체 읽기의 99.6%가 [22.0 °C, 25.0 °C] 범위 내에 포함되었다.
• DRL 컨트롤러는 다양한 기후 조건, 특히 더운(FL) 및 추운(CO) 지역에서도 일관된 성능을 유지했으며, 모든 테스트 조건에서 기준보다 뛰어난 성능을 보였다.
• 오픈소스 EnergyPlus 래퍼는 GitHub에 성공적으로 배포되어 기존 DRL 프레임워크와의 통합을 가능하게 하였으며, 향후 연구를 촉진했다.
• 결과적으로 DRL이 세부 시스템 모델이 없이도 복잡한 실세계 HVAC 시스템을 효과적으로 최적화할 수 있음을 입증했다.