[論文レビュー] Comparing statistical and machine learning methods for time series forecasting in data-driven logistics -- A simulation study

Lena Schmid, Moritz Roidl+1 more|arXiv (Cornell University)|Mar 13, 2023

Big Data and Business IntelligenceBusiness, Management and Accounting被引用数 3

ひとこと要約

このシミュレーション研究では、物流分野における1ステップ先予測のための統計的手法（ARIMA、TBATS）と機械学習手法（ランダムフォレスト、XGBoost）を比較している。変動する複雑さを有する合成データを用いて、非線形性やジャンプに影響を受ける状況では特に差分をとったデータを用いたML手法が伝統的なモデルを上回ることを明らかにしたが、線形またはランダムウォークの状況では両手法の性能に大きな差がなかった。

ABSTRACT

Many planning and decision activities in logistics and supply chain management are based on forecasts of multiple time dependent factors. Therefore, the quality of planning depends on the quality of the forecasts. We compare various forecasting methods in terms of out of the box forecasting performance on a broad set of simulated time series. We simulate various linear and non-linear time series and look at the one step forecast performance of statistical learning methods.

研究の動機と目的

• 統計的手法と機械学習手法の、物流関連の時系列データにおける即時の予測性能を評価・比較すること。
• 線形、非線形、ジャンプやランダムウォークを含むさまざまなデータ生成プロセスが、予測精度に与える影響を調査すること。
• 特に差分処理を含むデータ前処理が、機械学習モデルの性能に与える影響を評価すること。
• データの特性や複雑さに応じて、実務家が予測手法を選択するための実証的指針を提供すること。
• 機械学習手法が伝統的な時系列モデルを顕著に上回る状況を特定すること。

提案手法

• AR、BL、SAR、NAR、NMA、STAR、TARモデルを含む、合計15種類の異なる時系列データ生成プロセスをシミュレートし、追加の複雑さを有する場合とない場合を含めた。
• 4つの予測手法（季節性を考慮したARIMA、TBATS、ランダムフォレスト、XGBoost）を適用し、いずれも1ステップ先予測を実施した。
• 学習と予測にスライディングウィンドウ法（ウィンドウサイズ8）を用い、全手法に一貫した評価を保証した。
• 複数のサンプルサイズ（100～500）で平均二乗誤差（MSE）を評価し、各設定で100回の反復を実施した。
• MLモデルに差分処理を適用し、非定常的または複雑な状況下での予測精度への影響を評価した。
• 非線形性、ジャンプ、ランダムノイズの影響を分離できるように、制御されたデータ構造を持つ包括的なシミュレーションフレームワークを構築した。

実験結果

リサーチクエスチョン

• RQ1 どのようなデータ生成プロセスにおいて、機械学習手法（ランダムフォレスト、XGBoost）が伝統的な時系列モデル（ARIMA、TBATS）を上回るか？
• RQ2 差分処理は、複雑な時系列設定下での木ベースの機械学習モデルの予測性能にどのように影響するか？
• RQ3 複合ポアソンジャンプやランダムウォークといった追加の複雑さが、統計的手法および機械学習手法の予測精度に与える影響は何か？
• RQ4 どのような条件下で、時系列モデルが機械学習モデルを上回るか、または同等の性能を発揮するか？
• RQ5 時系列長やデータの複雑さに応じて、ML手法と統計的手法の性能差が体系的に変化するか？

主な発見

• 複合ポアソンジャンプ過程を有する設定では、差分をとったランダムフォレストが、時間系列長が500に達するに従い、他のすべての手法を上回った。
• ランダムウォーク成分を有するデータでは、MSE値が時間系列長の増加に伴い相対的に安定またはわずかに減少し、差分をとったML手法が非差分バージョンより性能が向上した。
• 線形的かつ安定した設定（例：AR、BL2）では、時系列モデルがわずかに優れたか、同等の性能を示し、MSE差は最小限にとどまった。
• 非線形設定（例：NAR1、NAR2、STAR1、TAR1）では、ML手法の結果は混合的であった：ランダムフォレストはXGBoostを上回ったが、一部のケースでは両者とも時系列モデルに劣った。
• ジャンプ過程の導入により、すべての手法でMSEが単調に増加し、時間系列長500では2000を超える値を示した。これは構造的変更に極めて感受することを示している。
• 差分処理は、非線形的・複雑な設定下でのMLモデルの性能を顕著に向上させた。これは、時系列予測におけるML成功のための前処理が不可欠であることを示唆している。