[論文レビュー] A review and comparison of strategies for multi-step ahead time series forecasting based on the NN5 forecasting competition

Souhaib Ben Taieb, Gianluca Bontempi+2 more|arXiv (Cornell University)|Aug 16, 2011

Forecasting Techniques and Applications参考文献 58被引用数 5

ひとこと要約

本論文は、111個の時系列からなるNN5コンペティションデータセットを用いて、6つのマルチステップ先見予測戦略—再帰的、直接的、DirRec、MIMO、DIRMO—を評価・比較している。主な発見は、複数出力戦略（特にMIMO-ACFLIN）が他の戦略を上回っており、季節除去は一貫して精度を向上させ、入力変数選択は季節除去と組み合わせて用いることで最も効果的である。

ABSTRACT

Multi-step ahead forecasting is still an open challenge in time series forecasting. Several approaches that deal with this complex problem have been proposed in the literature but an extensive comparison on a large number of tasks is still missing. This paper aims to fill this gap by reviewing existing strategies for multi-step ahead forecasting and comparing them in theoretical and practical terms. To attain such an objective, we performed a large scale comparison of these different strategies using a large experimental benchmark (namely the 111 series from the NN5 forecasting competition). In addition, we considered the effects of deseasonalization, input variable selection, and forecast combination on these strategies and on multi-step ahead forecasting at large. The following three findings appear to be consistently supported by the experimental results: Multiple-Output strategies are the best performing approaches, deseasonalization leads to uniformly improved forecast accuracy, and input selection is more effective when performed in conjunction with deseasonalization.

研究の動機と目的

• 大規模な実験的環境下で、既存のマルチステップ先見予測戦略を体系的に評価・比較すること。
• 前処理技術（季節除去と入力変数選択）が、さまざまな戦略における予測精度に与える影響を調査すること。
• 予測結合手法の性能向上に与える有効性を評価すること。
• 予備コンペティションの検証データからの結果が、ホールドアウトコンペティションデータにおける実際の性能を信頼性を持って予測できるかどうかを検証すること。
• 機械学習モデルを用いた長期時系列予測において、最も頑健で正確な予測アプローチを特定すること。

提案手法

• 本研究では、再帰的、直接的、DirRec、MIMO、DIRMO、および単一出力ラージ・ラーニング戦略の6つの予測戦略を評価している。
• 複数出力戦略（MIMOとDIRMO）は、1つのモデルを用いて全予測ホライズンを同時にモデル化することで、誤差の蓄積を最小限に抑える。
• 季節除去は、古典的分解（例：X-12-ARIMA）を用いて、予測の前段階で季節成分を除去することで実施される。
• 入力変数選択は、相関に基づくおよび情報理論的基準を用いて実施され、季節除去と組み合わせて用いることで特に効果的である。
• 予測結合は、等重み平均（COMB）および重み付き平均（WCOMB）を用いて複数モデルの出力を統合することで、頑健性を向上させる。
• 評価には、NN5予測コンペティションの111個の時系列を対象にSMAPEを主指標とし、統計的有意性はフリードマン検定を用いて検証している。

実験結果

リサーチクエスチョン

• RQ1 再帰的、直接的、DirRec、MIMO、またはDIRMOのどのマルチステップ予測戦略が、多様な時系列において最も正確な予測を実現するか？
• RQ2 季節除去は、マルチステップ予測タスクにおけるさまざまな予測戦略の性能にどのように影響を与えるか？
• RQ3 入力変数選択は予測精度を向上させるか？また、その効果は季節除去などの前処理に依存するか？
• RQ4 予測結合手法（例：COMB、WCOMB）は、個々のモデル選択（WINNER）に比べて予測精度の向上にどの程度効果的か？
• RQ5 予備コンペティションの検証データからの結果は、NN5コンペティションのホールドアウトテストセットにおける実際の性能をどの程度信頼性を持って予測できるか？

主な発見

• 複数出力戦略（MIMOとDIRMO）は、単一出力戦略を一貫して上回っており、MIMO-ACFLINは全モデルで最小のSMAPE（20.28）を達成した。
• 季節除去は、39のテストモデルのうち38つで予測精度を向上させ、性能向上に一貫した正の影響を与えた。
• 入力変数選択は、季節除去と組み合わせて用いる場合にのみ顕著に精度を向上させる。季節除去なしでは、結果は混合的または逆効果となる場合がある。
• 予測結合手法（COMBとWCOMB）は、勝者1つ取りのアプローチ（WINNER）を上回り、COMBとWCOMBは同等の結果をもたらした。
• 予備コンペティションと実際のコンペティションの両方で、戦略の相対的順位および前処理技術の影響は一貫していた。
• MIMO-ACFLIN戦略は、予備コンペティションの検証に基づいて選定されたが、実際のNN5コンペティションにおいて計算知能分野のエントリーの中で1位を達成していた。