[論文レビュー] Data augmentation through multivariate scenario forecasting in Data Centers using Generative Adversarial Networks

Jaime Pérez, Patricia Arroba+1 more|arXiv (Cornell University)|Jan 12, 2022

Energy Load and Power Forecasting参考文献 36被引用数 26

ひとこと要約

本論文は、データセンターの時系列データを対象としたGANベースのデータ拡張フレームワークを提案し、多次元シナリオ予測とオンデマンド異常生成を可能にしている。条件付きGANと新規の検証指標（KLダイバージェンスとMSE）を活用することで、現実的で多様な合成データが生成され、システムの整合性を損なうことなくモデルのロバスト性と予測性能が向上し、合成データのみで学習した場合でもベースラインに近い精度を達成している。

ABSTRACT

The Cloud paradigm is at a critical point in which the existing energy-efficiency techniques are reaching a plateau, while the computing resources demand at Data Center facilities continues to increase exponentially. The main challenge in achieving a global energy efficiency strategy based on Artificial Intelligence is that we need massive amounts of data to feed the algorithms. This paper proposes a time-series data augmentation methodology based on synthetic scenario forecasting within the Data Center. For this purpose, we will implement a powerful generative algorithm: Generative Adversarial Networks (GANs). Specifically, our work combines the disciplines of GAN-based data augmentation and scenario forecasting, filling the gap in the generation of synthetic data in DCs. Furthermore, we propose a methodology to increase the variability and heterogeneity of the generated data by introducing on-demand anomalies without additional effort or expert knowledge. We also suggest the use of Kullback-Leibler Divergence and Mean Squared Error as new metrics in the validation of synthetic time series generation, as they provide a better overall comparison of multivariate data distributions. We validate our approach using real data collected in an operating Data Center, successfully generating synthetic data helpful for prediction and optimization models. Our research will help optimize the energy consumed in Data Centers, although the proposed methodology can be employed in any similar time-series-like problem.

研究の動機と目的

• データセンターにおけるAIモデルの学習に必要な実世界データの不足という重要な課題に取り組むこと。特に、エネルギー効率最適化の分野において。
• 多次元時系列的依存関係と統計的性質を保持する、スケーラブルで安全かつ現実的な合成データ生成手法を開発すること。
• 追加のデータ収集を必要とせず、ハードウェアの整合性を損なわずに、データ生成段階でオンデマンドで異常を挿入することで、モデルのロバスト性を向上させること。
• KLダイバージェンスとMSEといった新規指標を用いて、生成データの現実性と有用性を検証し、実データとのベンチマークを予測モデリングタスクで実施すること。
• データ不足とプライバシーの障壁を克服することで、データセンターにおけるAI駆動最適化の広範な導入を可能にすること。

提案手法

• 本手法は、温度、湿度、その他の運用指標を含む生産環境のデータセンターから得た実際の多次元時系列データを用いて、条件付き生成対抗ネットワーク（cGAN）を学習する。
• モデルは特定の時間帯や環境的文脈を条件として、制御的かつ多様なシナリオ予測が可能な合成時系列シナリオを生成する。
• 生成段階で潜在空間ベクトルを変更することで、ラベル付きの異常データや追加の学習を必要とせずに、オンデマンドで異常を合成データに挿入する。
• 生成データの現実性は、実データと合成データの多次元分布を比較するためのカルバック・ライブラー（KL）ダイバージェンスと平均二乗誤差（MSE）を用いて検証する。
• フィードフォワードニューラルネットワークを、合成データ、実データ、または両方の組み合わせで学習させ、未学習の実データに対する予測性能を評価する。
• 本フレームワークは、混合データ型と複雑な依存関係を有する任意の時系列問題に適応可能に設計されている。

実験結果

リサーチクエスチョン

• RQ1 GANベースのデータ拡張は、実データセンター運用の統計的および時系列的特性を保持する現実的な多次元時系列データを生成できるか？
• RQ2 合成データにオンデマンドで異常を挿入することで、下流の予測モデルのロバスト性と一般化性能にどのような影響を与えるか？
• RQ3 合成データのみで学習したモデルが、実データで学習したモデルとどの程度同等の性能を達成できるか？
• RQ4 KLダイバージェンスとMSEは、多次元合成時系列データの現実性を評価する有効な指標とみなせるか？
• RQ5 本手法は、より高次元のセンサデータを有する、より大規模で複雑なデータセンター環境にスケーラブルに適用可能か？

主な発見

• 提案手法は、低水準のKLダイバージェンスとMSE値が確認されたことから、実データの統計的分布をよく再現した合成時系列データを成功裏に生成した。
• 異常を挿入した合成データのみで学習したモデル（TSTR）は、温度に関して0.103 ± 0.008、湿度に関して0.0168 ± 0.003の平均二乗誤差（MSE）を達成し、実データで学習したモデル（MSE：0.0738および0.0094）に近い性能を示した。
• 合成異常を含めた結果は、異常を含まない同じ設定よりも優れた性能を示しており、一般化性能の向上が裏付けられた。
• 合成データと実データの組み合わせで学習した（TSRTR）と、さらに性能が向上し、温度に関して0.0532 ± 0.004、湿度に関して0.0078 ± 0.004のMSEを達成し、一部のケースで実データのみの学習を上回った。
• 本手法は、制御された異常を有する合成データを用いて、予測精度を損なわずに現実世界のシナリオに一般化するモデルを学習可能であることを示した。
• 本研究は、KLダイバージェンスとMSEが多次元合成時系列データの現実性を検証する有効な指標であることを確認した。従来の指標よりも包括的な比較が可能である。