[論文レビュー] A Comprehensive Survey of Regression Based Loss Functions for Time Series Forecasting

Aryan Jadon, Avinash Patil+1 more|arXiv (Cornell University)|Nov 5, 2022

Time Series Analysis and Forecasting被引用数 45

ひとこと要約

本論は時系列予測の14個の回帰損失関数を調査し、Temporal Fusion Transformerを用いて4つのデータセットで比較し、それぞれの損失関数をいつ使用すべきかの指針を提供する。

ABSTRACT

Time Series Forecasting has been an active area of research due to its many applications ranging from network usage prediction, resource allocation, anomaly detection, and predictive maintenance. Numerous publications published in the last five years have proposed diverse sets of objective loss functions to address cases such as biased data, long-term forecasting, multicollinear features, etc. In this paper, we have summarized 14 well-known regression loss functions commonly used for time series forecasting and listed out the circumstances where their application can aid in faster and better model convergence. We have also demonstrated how certain categories of loss functions perform well across all data sets and can be considered as a baseline objective function in circumstances where the distribution of the data is unknown. Our code is available at GitHub: https://github.com/aryan-jadon/Regression-Loss-Functions-in-Time-Series-Forecasting-Tensorflow.

研究の動機と目的

• 時系列予測のために広く使用されている回帰損失関数を特定し、要約する。
• 異なる損失関数がデータセット間のモデル収束とロバスト性に与える影響を分析する。
• 未知のデータ分布や長期予測シナリオでの損失関数選択に関する実践的ガイダンスを提供する。
• 再現性のある実験のためのベースライン推奨とコード公開を行う。

提案手法

• 時系列予測で用いられる14の回帰損失関数をレビューし分類する。
• 4つのデータセットでTemporal Fusion Transformer (TFT)を実験的に適用し、損失関数を比較する。
• データセット間の共通の性能指標で損失関数を評価する。
• 各損失が有利となるシナリオを含め、実装の詳細と適用例を提供する。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットに対して、どの回帰損失関数が時系列予測に最も効果的か。
• RQ2 電力・交通・小売・ボラティリティデータセットでTFTを用いた場合、異なる損失関数はどのように性能に影響するか。
• RQ3 データ分布が未知の場合、ベースライン損失関数を選択する際の指針は何か。

主な発見

• 4つのデータセットを用いてTemporal Fusion Transformerのベースライン上で14の損失関数を比較した。
• 特定の損失関数はデータセットを跨いで一貫して堅牢な性能を提供し、ベースラインの目的として機能し得る。
• 分位点および関連するスケール非感度の損失は区間予測と分布シフトへの耐性を促進する。
• 本研究は損失関数選択に関する実践的な指針を提供し、計算コストや外れ値への感度といったトレードオフに言及する。