[論文レビュー] Host Load Prediction with Bi-directional Long Short-Term Memory in Cloud Computing

Hengheng Shen, Xuehai Hong|arXiv (Cornell University)|Jul 23, 2020

Cloud Computing and Resource Management参考文献 20被引用数 14

ひとこと要約

本論文は、クラウドコンピューティング環境におけるマルチステップ先進ホスト負荷予測のための双方向長短期記憶（BiLSTM）モデルを提案する。従来の手法とは異なり、BiLSTMは負荷シーケンスにおける過去および未来の文脈を捉えることができ、記憶力と非線形モデリング能力が向上する。1か月間のGoogleデータセンターのトレースデータ上で評価された結果、LSTM、LSTMエンコーダーデコーダー、および他の最先端モデルよりも高い予測精度を達成した。

ABSTRACT

Host load prediction is the basic decision information for managing the computing resources usage on the cloud platform, its accuracy is critical for achieving the servicelevel agreement. Host load data in cloud environment is more high volatility and noise compared to that of grid computing, traditional data-driven methods tend to have low predictive accuracy when dealing with host load of cloud computing, Thus, we have proposed a host load prediction method based on Bidirectional Long Short-Term Memory (BiLSTM) in this paper. Our BiLSTM-based apporach improve the memory capbility and nonlinear modeling ability of LSTM and LSTM Encoder-Decoder (LSTM-ED), which is used in the recent previous work, In order to evaluate our approach, we have conducted experiments using a 1-month trace of a Google data centre with more than twelve thousand machines. our BiLSTM-based approach successfully achieves higher accuracy than other previous models, including the recent LSTM one and LSTM-ED one.

研究の動機と目的

• 従来の予測手法の精度を制限する、クラウドホスト負荷データの高い変動性とノイズの問題に対処すること。
• 複雑な時間的依存関係を捉えることができるディープラーニングモデルを活用して、クラウド環境における負荷予測精度を向上させること。
• 手動による特徴量抽出を必要とせず、関連する歴史的文脈を自動で学習できるエンドツーエンドで適応可能なモデルを開発すること。
• 実世界のクラウドワークロードトレース上で、複数の予測長にわたりモデルの性能を評価し、最先端のアプローチと比較すること。

提案手法

• 提案手法は、ホスト負荷シーケンスをモデル化するため、双方向長短期記憶（BiLSTM）ネットワークを用い、時系列における過去および未来の文脈を捉える。
• BiLSTMは順方向および逆方向の両方でシーケンスを処理するため、一方向RNNよりも長期的な依存関係や動的な変動をより効果的に学習できる。
• 手動による特徴抽出を必要とせず、生のホスト負荷データ上でエンドツーエンドに訓練されるため、前処理の複雑さが低減される。
• 大規模なGoogleクラスターデータセット上で訓練する際、過学習を軽減するために早期停止法とドロップアウト技術が用いられる。
• 複数ステップ先進予測に最適化されたアーキテクチャであり、さまざまな時間スケールでの負荷トレンド予測が可能である。
• 予測精度の包括的評価のため、平均二乗誤差（MSE）とその累積分布関数（CDF）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 高い変動性とノイズを示すクラウドホスト負荷を予測する際、BiLSTMモデルは標準的なLSTMやLSTMエンコーダーデコーダーを上回る性能を示すか？
• RQ2 BiLSTMが順方向および逆方向の両方の文脈を統合することで、一方向モデルと比較して負荷予測精度がどのように向上するか？
• RQ3 BiLSTMモデルのエンドツーエンド設計は、負荷予測における手動による特徴量抽出への依存度をどの程度低減するか？
• RQ4 実世界のクラウドワークロードにおいて、異なる予測長にわたりモデルの性能はどのように変化するか？
• RQ5 生産環境のデータセンタで観察される多様な負荷パターンやノイズレベルの下でも、BiLSTMモデルは高い精度を維持できるか？

主な発見

• 1か月間のGoogleクラスタートレース（12,000台以上のマシンを含む）において、BiLSTMモデルはLSTM、LSTMエンコーダーデコーダー、ARベース、ANNベースのモデルと比較して優れた予測精度を達成した。
• MSE値のCDFを分析した結果、特に長い予測ホライズンにおいて、誤差が ≤ 0.025 に収まる予測の割合が他のモデルよりも顕著に高いことが示された。
• MSE結果のボックスプロットは、すべての予測長において、BiLSTMの中央値誤差が他の比較モデルと比較して一貫して低いことを確認した。
• CPU負荷およびメモリ負荷の両方の予測において、極めて変動が大きく自己相関のない負荷トレースに対しても、強力な性能を示した。
• 結果から、BiLSTMが複雑な時間的パターンを効果的に捉え、線形的および浅いモデルを上回ることを実証した。
• エンドツーエンド設計により、外部の特徴量抽出が不要となり、導入を簡素化しながらも高い精度を維持した。