[論文レビュー] Challenges and approaches to time-series forecasting in data center telemetry: A Survey

Shruti Jadon, Jan Kanty Milczek+1 more|arXiv (Cornell University)|Jan 11, 2021

Time Series Analysis and Forecasting被引用数 10

ひとこと要約

本調査では、実際のデータセットを用いてR²や推論時間などの指標で比較することで、データセンターテレメトリに向けた11種類の時系列予測手法を評価している。どの手法も普遍的に優れているわけではないが、深層学習モデル（例：Bi-LSTM）は低遅延で高い精度を発揮する。一方、STARやFBProphetは生産環境用途において強力で高速かつ頑健な代替手法を提供する。

ABSTRACT

Time-series forecasting has been an important research domain for so many years. Its applications include ECG predictions, sales forecasting, weather conditions, even COVID-19 spread predictions. These applications have motivated many researchers to figure out an optimal forecasting approach, but the modeling approach also changes as the application domain changes. This work has focused on reviewing different forecasting approaches for telemetry data predictions collected at data centers. Forecasting of telemetry data is a critical feature of network and data center management products. However, there are multiple options of forecasting approaches that range from a simple linear statistical model to high capacity deep learning architectures. In this paper, we attempted to summarize and evaluate the performance of well known time series forecasting techniques. We hope that this evaluation provides a comprehensive summary to innovate in forecasting approaches for telemetry data.

研究の動機と目的

• データセンターテレメトリワークロードに特化した包括的な時系列予測手法を評価・ベンチマークすること。
• 多様な予測モデル間で、精度、推論速度、計算コストの間のパフォーマンスのトレードオフを特定すること。
• 遅延、データ量、予測期間といったシステム制約に基づいた予測モデルの選定に関する実用的ガイドを提供すること。
• 時系列データの動的かつ多様な性質のため、オフザシェルモデルが常に他を上回るわけではないことを示すこと。
• 一貫した複数期間予測を実現する統一的でブートストラップ処理を施した任意長予測ジェネレータを提案すること。

提案手法

• 本研究では、ブートストラップ処理を施した残差を用いて1ステップずつ予測を繰り返すことで、複数の将来シナリオをシミュレートし、信頼区間を生成する統一的な任意長予測ジェネレータを採用している。
• 5つの実際のテレメトリデータセットを用いて、ARIMA、Holt-Winters（HWES）、Facebook Prophet（FBP）、STAR、GRU、LSTM、Deep-LSTM、Bi-LSTM、RNNの合計11種類の予測モデルをベンチマークしている。
• 評価には標準的な指標を用いる：決定係数（R²）、調整済みR²（lR²）、および1,000点および5,000点のシーケンスにおける推論実行時間（RT）。
• 複数期間予測の場合は、1ステップ予測を繰り返し実行し、予測結果をモデルに再入力する。信頼区間はブートストラップ処理を施した残差から導出される。
• すべてのモデルが一様に扱われるよう、単一ステップ予測機能のみを用いることで、複数ステップ予測をネイティブにサポートするモデルですら一貫性のある比較が可能になる。
• ベンチマークには、Curtinネットワークのテレメトリ（フローデータサイズ、フローレート）、Juniperネットワークデータ、Twitter時系列データなど、多様なデータソースを含む。データ量や特性に差がある。

実験結果

リサーチクエスチョン

• RQ1 高容量のデータセンターテレメトリにおいて、精度（R²）と推論速度（RT）のトレードオフを最もよく満たす時系列予測モデルはどれか？
• RQ2 複雑で非線形なテレメトリデータを予測する際、伝統的な統計モデル（例：Holt-Winters、ARIMA）と深層学習モデル（例：Bi-LSTM、GRU）の性能はどのように比較されるか？
• RQ3 FBProphet や STAR のようなモデルは、季節性やノイズレベルが異なる多様なテレメトリデータセットにどれほど一般化可能か？
• RQ4 提案されたブートストラップ処理を施したステップワイズで任意長の予測ジェネレータは、異なるモデル間で一貫性と信頼区間を維持するのにどれほど効果的か？
• RQ5 深層学習モデルは、Curtinデータセットで観察されたようなスパarsなまたは不規則なテレメトリデータに対しても過学習を回避できるか？

主な発見

• 深層ニューラルネットワーク（例：Bi-LSTM、LSTM）は、最高のR²スコアを達成しており、Juniperデータセットでは最大0.98を記録。1,000ポイントのシーケンスで推論時間が0.114秒と低遅延を維持している。
• STARとSTDは最大のデータセット（Juniper）で最も高速であり、1,000ポイントのシーケンスで推論時間が4秒未満で、FBProphet や Holt-Winters をも上回る。
• Holt-Winters指数平滑法は全体で最も高速だったが、Twitterデータセットでは著しく過学習が発生（R² = -0.61）しており、ノイズが多く非定常なデータには一般化能力に欠けることが示された。
• FBProphet と STAR は、R² および lR² の観点で一貫して上位にランクされ、『ワンサイズ・フィット・アール』の予測ソリューションとして強い候補である。
• GRU および LSTM モデルは、統計モデルに比べて学習時に最大10倍遅くなったが、Curtinデータセットでは過学習に対して強く、複雑で現実的なテレメトリデータに対して頑健であることが示された。
• どのモデルもすべてのデータセットと指標で優勢ではなかった。最良の選択肢は、遅延、データ量、必要精度といったシステム制約に依存する。