[論文レビュー] Machine Learning vs Statistical Methods for Time Series Forecasting: Size Matters

Vítor Cerqueira, Luı́s Torgo+1 more|arXiv (Cornell University)|Sep 29, 2019

Time Series Analysis and Forecasting参考文献 34被引用数 74

ひとこと要約

本論文は、サンプルサイズが単変時系列予測における機械学習と統計的手法の相対的性能に影響を与え、データ量が増えるにつれてMLが優位性を獲得することを示す。

ABSTRACT

Time series forecasting is one of the most active research topics. Machine learning methods have been increasingly adopted to solve these predictive tasks. However, in a recent work, these were shown to systematically present a lower predictive performance relative to simple statistical methods. In this work, we counter these results. We show that these are only valid under an extremely low sample size. Using a learning curve method, our results suggest that machine learning methods improve their relative predictive performance as the sample size grows. The code to reproduce the experiments is available at https://github.com/vcerqueira/MLforForecasting.

研究の動機と目的

• 小さなサンプルサイズを超えた時系列予測におけるMLと統計的手法の議論を再検討する動機づけ。
• サンプルサイズをコントロールして、機械学習と統計的アプローチの予測を比較する。
• 成長する学習データ下での1ステップ先予測および多ステップ先予測を評価する。
• prequential learning curves を用いた経験的で再現可能なフレームワークを提供し、予測手法を評価する。

提案手法

• 1000以上の観測を有する90個の単変時系列を使用し、均一性のため1000に切り詰める。
• 5つの統計的方法（ARIMA、Naive2、Theta、ETS、Tbats）を、5つのMLベースのAR(p)アプローチ（RBR、RF、GP、MARS、GLM）と比較する。
• Makridakis et al. (2018)に従い、予測前にBox-Cox変換、季節性処理、傾向除去を適用する。
• トレーニングサイズが観測値18から上昇するプレキューシャル学習曲線手順を用い、次の1ステップまたは18ステップを予測する。
• 平均絶対スケーリング誤差(MASE)と時系列間のモデル順位で評価し、モデルごとの平均順位を報告する。

実験結果

リサーチクエスチョン

• RQ1 単変時系列予測において、統計的方法と機械学習方法の相対的予測性能はサンプルサイズに依存するか。
• RQ2 データ量が増えるにつれて、1ステップ先予測と多ステップ先予測のシナリオは、どの方法が最も優れているかという点でどう異なるか。
• RQ3 自動パラメータ調整の下で、対立する方法の計算コストプロファイルはどのようになるか。
• RQ4 比較から明らかに弱いベースライン（例：Naive2）を除外すると、結果は変わるか。

主な発見

• 非常に小さな学習サイズでは統計的方法がML方法を上回るが、サンプルサイズが大きくなるにつれてML方法が統計的方法を上回る。
• Naive2を除外すると、ML法は追いつき、1ステップ先予測の学習曲線の前半で統計法を上回ることが多い。
• 多ステップ先予測では平均順位でARIMAが最良になるが、全体としてML対統計の収束が見られ、学習サイズの増加に伴い（Naive2を除く）…
• MLアプローチはデータが多いほど利得を得るが、多ステップ予測の不確実性の増大を扱うにはより多くのデータを必要とする場合がある。
• パラメータ最適化のため、いくつかの自動化された統計的方法（例：ARIMA、Tbats）の計算時間が長くなる一方、検証済みの設定ではML方法は相対的な複雑性が低いことを示す。