[논문 리뷰] Data augmentation through multivariate scenario forecasting in Data Centers using Generative Adversarial Networks

Jaime Pérez, Patricia Arroba외 1명|arXiv (Cornell University)|2022. 01. 12.

Energy Load and Power Forecasting참고 문헌 36인용 수 26

한 줄 요약

이 논문은 데이터 센터의 시계열 데이터를 대상으로 하는 GAN 기반의 데이터 증강 프레임워크를 제안하며, 다변량 시나리오 예측과 온디맨드 이상 탐지 생성을 가능하게 한다. 조건부 GAN과 새로운 검증 지표(KL 발산 및 MSE)를 활용하여, 실제적이고 이질적인 합성 데이터를 생성함으로써 시스템 무결성을 해치지 않으면서 모델의 강건성과 예측 성능을 향상시킨다. 실질적인 데이터만으로 학습하는 경우에도 근사 기준 성능에 도달한다.

ABSTRACT

The Cloud paradigm is at a critical point in which the existing energy-efficiency techniques are reaching a plateau, while the computing resources demand at Data Center facilities continues to increase exponentially. The main challenge in achieving a global energy efficiency strategy based on Artificial Intelligence is that we need massive amounts of data to feed the algorithms. This paper proposes a time-series data augmentation methodology based on synthetic scenario forecasting within the Data Center. For this purpose, we will implement a powerful generative algorithm: Generative Adversarial Networks (GANs). Specifically, our work combines the disciplines of GAN-based data augmentation and scenario forecasting, filling the gap in the generation of synthetic data in DCs. Furthermore, we propose a methodology to increase the variability and heterogeneity of the generated data by introducing on-demand anomalies without additional effort or expert knowledge. We also suggest the use of Kullback-Leibler Divergence and Mean Squared Error as new metrics in the validation of synthetic time series generation, as they provide a better overall comparison of multivariate data distributions. We validate our approach using real data collected in an operating Data Center, successfully generating synthetic data helpful for prediction and optimization models. Our research will help optimize the energy consumed in Data Centers, although the proposed methodology can be employed in any similar time-series-like problem.

연구 동기 및 목표

• 데이터 센터에서 인공지능 모델 학습을 위한 실제 세계 데이터 부족 문제, 특히 에너지 효율 최적화를 위한 도전 과제를 해결하기 위해.
• 다변량 시간적 상관관계와 통계적 성질을 유지하면서도 확장 가능하고 안전하며 현실적인 합성 데이터 생성 방법을 개발하기 위해.
• 추가적인 데이터 수집이 필요 없이 하드웨어 무결성에 위험을 끼치지 않고도 데이터 생성 중에 온디맨드 이상을 도입함으로써 모델의 강건성을 향상시키기 위해.
• 실제 데이터와의 비교를 통해 예측 모델링 작업에서의 실용성과 현실성을 검증하기 위해 새로운 지표(KL 발산 및 MSE)를 사용하기 위해.
• 데이터 부족과 개인정보 보호 장벽을 극복함으로써 AI 기반 최적화의 광범위한 도입을 가능하게 하기 위해.

제안 방법

• 실제 데이터 센터에서 수집한 온도, 습도 및 기타 운영 지표를 포함한 다변량 시계열 데이터를 기반으로 조건부 생성 적대 신경망(cGAN)을 학습한다.
• 특정 시간 또는 환경적 조건에 따라 조건화된 합성 시계열 시나리오를 생성함으로써 제어 가능하고 다양한 시나리오 예측이 가능하다.
• 라벨이 부여된 이상 데이터나 추가 학습이 필요 없이 생성 과정에서 잠재 공간 벡터를 수정하여 합성 데이터에 온디맨드 이상을 삽입한다.
• 실제 데이터와 합성 데이터 간의 다변량 분포를 비교하기 위해 클로이비우-라이블러(KL) 발산과 평균 제곱 오차(MSE)를 사용하여 생성된 데이터의 현실성 검증을 수행한다.
• 합성 데이터, 실제 데이터 또는 병합된 데이터로 학습된 피드포워드 신경망을 사용하여 실재 데이터에 대한 예측 성능을 평가한다.
• 혼합된 데이터 유형과 복잡한 상관관계를 가진 모든 시계열 문제에 적용 가능한 유연성을 갖춘 프레임워크로 설계되었다.

실험 결과

연구 질문

• RQ1 GAN 기반의 데이터 증강이 실제 데이터 센터 운영의 통계적 및 시간적 특성을 유지하면서 현실적인 다변량 시계열 데이터를 생성할 수 있는가?
• RQ2 합성 데이터에 온디맨드 이상을 삽입함으로써 후행 예측 모델의 강건성과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 합성 데이터로만 학습된 모델이 실제 데이터로 학습된 모델과 비교하여 어느 정도의 성능을 달성할 수 있는가?
• RQ4 KL 발산과 MSE는 다변량 합성 시계열 데이터의 현실성 평가에 효과적인 지표로 작용하는가?
• RQ5 이 방법은 더 높은 차원의 센서 데이터를 가진 더 큰, 더 복잡한 데이터 센터 환경으로 확장 가능한가?

주요 결과

• 제안된 방법은 낮은 KL 발산 및 MSE 값으로 인해 실제 데이터의 통계 분포와 밀접하게 일치하는 합성 시계열 데이터를 성공적으로 생성하였다.
• 삽입된 이상이 포함된 합성 데이터로만 학습된 모델(TSTR)은 온도에 대해 평균 제곱 오차(MSE) 0.103 ± 0.008, 습도에 대해 0.0168 ± 0.003을 기록하여 실제 데이터로 학습된 모델의 성능(MSE: 0.0738 및 0.0094)에 근접하였다.
• 합성 이상의 포함으로 인해 모델의 강건성이 향상되었으며, 이상이 없는 동일한 설정 대비 TSTR 결과가 더 우수하여 일반화 능력 향상이 확인되었다.
• 합성 및 실제 데이터의 조합으로 학습된 모델(TSRTR)은 온도에 대해 MSE 0.0532 ± 0.004, 습도에 대해 0.0078 ± 0.004를 기록하여 일부 경우에서 실제 데이터 전용 학습 성능을 초월하였다.
• 제안된 방법은 제어 가능한 이상이 포함된 합성 데이터를 사용해 실제 환경에 잘 일반화되는 모델을 학습시킬 수 있음을 입증하였으며, 이는 예측 정확도를 훼손하지 않았다.
• 연구는 KL 발산과 MSE가 다변량 합성 시계열 데이터의 현실성 평가에 효과적인 지표임을 확인하였으며, 전통적 지표보다 더 포괄적인 비교를 가능하게 한다.