[論文レビュー] Autoregressive Time Series Forecasting of Computational Demand

Thomas Sandholm|ArXiv.org|Nov 14, 2007

Complex Systems and Time Series Analysis参考文献 12被引用数 6

ひとこと要約

本稿は、PlanetLab や Tycoon などの共有ネットワークにおける計算リソース需要の予測を目的として、自己回帰的時系列モデル（特に ARIMA および指数平滑法）を評価している。1 ステップ先予測ではランダムウォークモデルが他のモデルを上回るが、2 ステップ先および3 ステップ先予測では、ARIMA(1,1,0) および適応的指数平滑法が優れた結果を示し、高い非定常性と変動性が伴う状況下でも、長期予測において高次のモデルの価値が浮き彫りになる。

ABSTRACT

We study the predictive power of autoregressive moving average models when forecasting demand in two shared computational networks, PlanetLab and Tycoon. Demand in these networks is very volatile, and predictive techniques to plan usage in advance can improve the performance obtained drastically. Our key finding is that a random walk predictor performs best for one-step-ahead forecasts, whereas ARIMA(1,1,0) and adaptive exponential smoothing models perform better for two and three-step-ahead forecasts. A Monte Carlo bootstrap test is proposed to evaluate the continuous prediction performance of different models with arbitrary confidence and statistical significance levels. Although the prediction results differ between the Tycoon and PlanetLab networks, we observe very similar overall statistical properties, such as volatility dynamics.

研究の動機と目的

• 共有計算ネットワーク内の需要予測における自己回帰モデル（ARIMA や指数平滑法を含む）の予測性能を評価すること。
• 短期および中期間の予測において、より複雑な回帰モデルが単純なランダムウォークおよび指数平滑法予測子を上回るかを特定すること。
• PlanetLab および Tycoon の需要系列間に共通する統計的性質（変動性ダイナミクス、重尾分布など）が存在するかを同定すること。
• 任意の信頼水準および有意水準で連続的予測性能を評価可能なモンテカルロブートストラップ検定を構築・適用すること。
• リアルタイムで適応可能な予測システムにおけるモデル選択、ウィンドウサイズ、パラメータ更新頻度に関する実用的ガイドラインを提供すること。

提案手法

• 本研究では、PlanetLab および Tycoon の需要時系列に ARIMA モデルを適用し、初期サンプル窓から得られた固定されたモデル構造を用いる。
• モデルパラメータは定期的（50～150時間ごと）に再推定され、動的変化に適応しつつも構造的一致性を維持する。
• ARIMA(1,1,0)、ARIMA(0,1,0)（ランダムウォーク）、ARIMA(0,1,1)（指数加重移動平均）モデルを用いて、1 ステップ先、2 ステップ先、3 ステップ先の予測を生成する。
• 予測性能の統計的有意性をモデル間で評価・比較するために、モンテカルロブートストラップ検定を用いる。
• 予測の偏りを回避し、リアルタイムデプロイメント条件を模擬するために、ローリングタイム窓を用いた評価を実施する。
• モデルの性能は、直近の観測値が次回の予測に最も適切であると仮定するランダムウォークモデルを基準としてベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 ARIMA などの自己回帰モデルは、計算リソース需要の予測において、単純なランダムウォーク予測子を上回ることができるか？
• RQ2 予測の先行期間（1 ステップ先、2 ステップ先、3 ステップ先）に応じて、予測精度はどのように変化するか？
• RQ3 変動性が高く非定常な需要系列において、予測精度を維持するための最適なウィンドウサイズとパラメータ更新頻度は何か？
• RQ4 PlanetLab および Tycoon の需要時系列間に、変動性構造や尾部挙動といった共通する統計的性質が存在するか？
• RQ5 ブートストラップに基づく統計的検定は、異なる予測モデルの連続的予測性能を信頼性高く比較できるか？

主な発見

• 1 ステップ先予測では、ランダムウォークモデル（ARIMA(0,1,0)）が、すべての PlanetLab および Tycoon データセットにおいて、高次の ARIMA および指数平滑法モデルを一貫して上回った。
• 2 ステップ先および3 ステップ先予測では、ARIMA(1,1,0) および適応的指数平滑法モデルがランダムウォークモデルを著しく上回り、特に PlanetLab データセットで顕著であった。
• 需要分布が重尾的かつ右に歪んでいるにもかかわらず、1 ステップ予測ではランダムウォークモデルが依然として優位であった。これは、理論的正規性仮定とは逆の結果であり、予期しないものであった。
• 本研究では、PlanetLab および Tycoon の需要に強い統計的類似性（変動性ダイナミクス、外れ値頻度、重尾密度関数）を同定し、共通するワークロード特性が存在することを示唆した。
• PlanetLab では、より大きなモデル適合ウィンドウが性能向上に寄与しなかったが、Tycoon の限られた17日間のトレース長のため、より大きなウィンドウのテストは不可能であった。
• モンテカルロブートストラップ検定は、任意の信頼水準および有意水準でモデル間の予測性能を比較する、堅牢で統計的に妥当な手法を提供した。