[論文レビュー] Forecasting with sktime: Designing sktime's New Forecasting API and Applying It to Replicate and Extend the M4 Study

Markus Löning, Franz J. Király|arXiv (Cornell University)|May 16, 2020

Forecasting Techniques and Applications参考文献 70被引用数 4

ひとこと要約

この論文は、単変量時系列予測のための複合機械学習モデルの構築、チューニング、評価に適した、scikit-learn互換のフレームワークであるsktimeの新しい予測APIを紹介する。この研究はM4予測研究を再現・拡張し、単純なハイブリッドおよび純粋な機械学習手法が統計的手法を上回り、特に時系列データに対してトップM4モデルに近い性能を達成できることを示している。

ABSTRACT

We present a new open-source framework for forecasting in Python. Our framework forms part of sktime, a more general machine learning toolbox for time series with scikit-learn compatible interfaces for different learning tasks. Our new framework provides dedicated forecasting algorithms and tools to build, tune and evaluate composite models. We use sktime to both replicate and extend key results from the M4 forecasting study. In particular, we further investigate the potential of simple off-the-shelf machine learning approaches for univariate forecasting. Our main results are that simple hybrid approaches can boost the performance of statistical models, and that simple pure approaches can achieve competitive performance on the hourly data set, outperforming the statistical algorithms and coming close to the M4 winner.

研究の動機と目的

• 時系列予測における複合機械学習モデルの構築、チューニング、評価に適した、オープンソースでscikit-learn互換のツールキットの不足に対処すること。
• パイプライン処理、チューニング、メタ予測技術（例：リダクション、トレンド除去）をサポートする、組み立て可能でモジュラーな予測APIを提供すること。
• 標準化されたオープンソースフレームワークを用いて、M4予測コンペティションの結果を再現・検証すること。
• M4研究を拡張し、時系列予測タスクにオフザシェルの機械学習アプローチ（例：リダクション、ブースティング、チューニング）を評価すること。
• 単純なオフザシェルの機械学習モデルが、統計的手法を凌駕し、M4優勝モデルに近い精度に達することを実証すること。

提案手法

• sktimeに、scikit-learnの推定器インターフェースを模倣する予測APIを設計し、時系列データに対して推定器、変換器、パイプラインの使用を一貫可能にする。
• リダクション（予測を回帰に変換）、トレンド除去、残差ブースティングなどのメタ予測器を実装し、ハイブリッドモデリングを可能にする。
• 時系列分割を用いたネストドクロスバリデーションを用いて、機械学習モデル（例：ランダムフォレスト、XGBoost、KNN、線形回帰）のハイパーパramータをM4データセット全体でチューニングする。
• 特徴工学、モデル適合、予測ステップを統合した再利用可能で組み立て可能なワークフローを実現するため、パイプライン処理を適用する。
• 同じデータ分割と評価指標（MASE、sMAPE）を用いてM4の結果を再現し、実装の正しさを検証する。
• 新しいモデル設定（チューニング済みおよびハイブリッドモデル）を評価することで、M4の全周波数グループ（年次から時次まで）にわたってM4研究を拡張する。

実験結果

リサーチクエスチョン

• RQ1 sktimeの新しい予測APIは、オフザシェルの機械学習モデルを用いて、M4予測コンペティションの結果を正確に再現できるか？
• RQ2 単純なオフザシェルの機械学習モデル（例：ランダムフォレスト、XGBoost）は、M4ベンチマークにおいて統計的手法と比較して、単変量時系列予測でどの程度の性能を示すか？
• RQ3 残差ブースティングのようなハイブリッド手法は、予測精度をどの程度向上させることができるか？
• RQ4 単純なモデルチューニングおよび構成技術（例：パイプライン処理、リダクション）は、特に時系列データに対して、困難なM4データセットの性能を顕著に向上させることができるか？
• RQ5 純粋な機械学習モデルの性能は、M4コンペティションの優勝モデルと比較してどの程度か、特に時系列予測タスクにおいて。

主な発見

• M4研究の再現において、ナイーブモデルには有意差がなく、統計的手法に対してもわずかな差異があるが、sktimeの実装を用いることで機械学習モデルの性能が大幅に向上している。
• 統計的手法の予測値に対して機械学習を用いて残差をブーストする単純なハイブリッドモデルは、特に日次および週次データセットにおいて精度を顕著に向上させる。
• 純粋な機械学習モデル—特にチューニング済みのランダムフォレストとXGBoost—は、時系列データセットで競争力のある性能を示し、すべての統計的手法を上回り、M4優勝モデルの性能に近づいた。
• チューニング済みのXGBoost-sモデルは、M4全データセットでOWA 1.131を達成したのに対し、チューニング済みランダムフォレスト（RF-t-s）は1.047を達成し、周波数にわたる強力な一般化性能を示した。
• 時系列データセットでは、最良のモデル（XGB-t-s）がOWA 0.746を達成し、統計的手法を著しく上回り、M4優勝モデルの性能に近づいた。
• 線形回帰モデルは不安定で、特に低周波数のデータ系列では発散する予測を示したため、結果から除外された。これは、単変量設定における線形外挿の限界を示している。