[論文レビュー] Forecast Evaluation for Data Scientists: Common Pitfalls and Best Practices

Hansika Hewamalage, Klaus Ackermann+1 more|arXiv (Cornell University)|Mar 21, 2022

Forecasting Techniques and Applications被引用数 6

ひとこと要約

この論文は、データサイエンティスト向けの予測評価の包括的ガイドを提供しており、不適切なデータ分割、MAPEなどの誤差指標の誤用、時系列におけるデータ漏洩といった一般的な落とし穴に対処している。ローリングオリジン検証、データ特性に基づいた適切な誤差指標選択、複数指標による評価といったベストプラクティスを提唱することで、機械学習駆動の予測における堅牢で意味のあるモデル比較を実現する。

ABSTRACT

Machine Learning (ML) and Deep Learning (DL) methods are increasingly replacing traditional methods in many domains involved with important decision making activities. DL techniques tailor-made for specific tasks such as image recognition, signal processing, or speech analysis are being introduced at a fast pace with many improvements. However, for the domain of forecasting, the current state in the ML community is perhaps where other domains such as Natural Language Processing and Computer Vision were at several years ago. The field of forecasting has mainly been fostered by statisticians/econometricians; consequently the related concepts are not the mainstream knowledge among general ML practitioners. The different non-stationarities associated with time series challenge the data-driven ML models. Nevertheless, recent trends in the domain have shown that with the availability of massive amounts of time series, ML techniques are quite competent in forecasting, when related pitfalls are properly handled. Therefore, in this work we provide a tutorial-like compilation of the details of one of the most important steps in the overall forecasting process, namely the evaluation. This way, we intend to impart the information of forecast evaluation to fit the context of ML, as means of bridging the knowledge gap between traditional methods of forecasting and state-of-the-art ML techniques. We elaborate on the different problematic characteristics of time series such as non-normalities and non-stationarities and how they are associated with common pitfalls in forecast evaluation. Best practices in forecast evaluation are outlined with respect to the different steps such as data partitioning, error calculation, statistical testing, and others. Further guidelines are also provided along selecting valid and suitable error measures depending on the specific characteristics of the dataset at hand.

研究の動機と目的

• 時系列予測における伝統的な予測手法と現代の機械学習（ML）手法の間のギャップを解消すること。
• モデル比較や一般化性を損なう、誤ったデータ分割、不適切な誤差指標、データ漏洩といった予測評価の一般的な落とし穴を特定すること。
• 機械学習実務者向けに、データ分割、誤差計算、統計的検定、指標選択を重視した、体系的でチュートリアル形式の予測評価ガイドを提供すること。
• 標準化され、再現可能で意味のある評価慣行を促進することで、MLベースの予測モデルの信頼性と競争力を向上させること。

提案手法

• データ長さやモデルタイプに応じた、ローリングオリジンや時系列交差検証（tsCV）を含むデータ分割戦略を含む、予測評価の構造的フレームワークを提案する。
• モデルパフォーマンス評価の基準点として、ナイーブ予測や季節的ナイーブ予測といったベンチマークモデルの使用を提唱する。
• データ特性（スケール、非正規性、非定常性など）に応じた誤差指標選択の意思決定ガイド（表1）を導入する。
• MAE、RMSE、MASEなどの複数の誤差指標を用いた評価を推奨することで、堅牢性と整合性の確認を図り、その中で一つを主な評価基準として指定する。
• スムージング、分解、正規化などの前処理ステップで発生するデータ漏洩を回避する重要性を強調する。
• モデルの多様性とデータの可用性を慎重に考慮することで、過剰適合やサンプルサイズ不足に起因する誤った結論を避ける、モデル差の統計的検定の活用を提案する。

実験結果

リサーチクエスチョン

• RQ1 機械学習実務者が時系列データを扱う際、予測評価で直面する最も一般的な落とし穴は何ですか？
• RQ2 k-フォールドCV、tsCV、ローリングオリジンなどのデータ分割戦略の中で、どのような時系列やモデルアーキテクチャに最も適していますか？
• RQ3 スケール、非正規性、非定常性などの時系列の特性に応じて、誤差指標はどのように選択すべきですか？
• RQ4 データ漏洩は予測評価をどのように損なう可能性があり、前処理および検証段階でどのように防止できますか？
• RQ5 モデルの類似性やデータ不足に起因するバイアスを避けるために、モデルパフォーマンスの比較に効果的に統計的検定を用いる方法はどのようなものですか？

主な発見

• 値が[-1, 1]の範囲にある時系列に対してMAPEを使用することは根本的に誤りであり、その条件下では未定義または不安定になるため、誤解を招く。
• 残差に自己相関テスト（例：Ljung-Box）を通過するARベースのモデルでは、k-フォールド交差検証がtsCVに代わる有効でデータ効率の良い代替手段となり得る、特に短い時系列において。
• RNN や ETS のような連続的状態ダイナミクスを持つモデルでは、時系列の順序が重要であるため、時系列交差検証（tsCV）が推奨される。
• どの指標も普遍的に最適ではない。選択はデータ特性、ビジネス文脈、スケールに基づいて決定されなければならない。例えば、価格・数量などビジネスユーティリティと一致する場合、スケール依存指標は価値がある。
• 複数の誤差指標を用いた評価は結果の信頼性を高めるが、モデルは単一の主な指標に最適化されるべきであり、矛盾する目的を避ける必要がある。
• モデル差の統計的検定では、モデルの多様性とデータの可用性のバランスを取ることが重要であり、過剰適合やサンプルサイズ不足に起因する誤った差の検出を避けるべきである。