[論文レビュー] Historical Inertia: A Neglected but Powerful Baseline for Long Sequence Time-series Forecasting

Yue Cui, Jiandong Xie+1 more|arXiv (Cornell University)|Mar 30, 2021

Time Series Analysis and Forecasting参考文献 14被引用数 5

ひとこと要約

本稿では、長期間時系列予測（LSTF）のための単純ながら強力なベースラインである歴史的慣性（HI）を紹介する。HIは、予測に最も最近の歴史的時系列ステップを直接使用する。その単純さにもかかわらず、4つの実世界データセットにおいて最先端モデルを最大82%の相対的改善を達成し、LSTF研究においてしばしば見過ごされがちな強力なベースラインであることを示している。

ABSTRACT

Long sequence time-series forecasting (LSTF) has become increasingly popular for its wide range of applications. Though superior models have been proposed to enhance the prediction effectiveness and efficiency, it is reckless to neglect or underestimate one of the most natural and basic temporal properties of time-series. In this paper, we introduce a new baseline for LSTF, the historical inertia (HI), which refers to the most recent historical data-points in the input time series. We experimentally evaluate the power of historical inertia on four public real-word datasets. The results demonstrate that up to 82\% relative improvement over state-of-the-art works can be achieved even by adopting HI directly as output.

研究の動機と目的

• 長期間時系列予測（LSTF）のための単純だが非常に効果的なベースラインを同定・評価し、現在の研究でしばしば無視されていることの特定。
• 最近の歴史的データポイント（いわゆる歴史的慣性（HI））が、多様な実世界データセットにおいて強力な予測ベースラインとして機能できることを示すこと。
• HIが特定の状況でなぜこれほどうまく機能するのか、および既存の予測モデルの性能向上にどのように活用できるかを調査すること。
• 今後のLSTF研究においてHIを標準ベースラインとして組み込むことの重要性を提唱し、公平で意味のあるモデル比較を保証すること。

提案手法

• HIは、入力系列 $\mathcal{X}(t)$ の最後の $L_y$ 時系列ステップを直接予測出力 $\hat{\mathcal{Y}}(t)$ として使用する。すなわち、$\hat{\mathcal{Y}}(t) = [X_{L_x - L_y + 1}(t), \dots, X_{L_x}(t)]$ である。
• この手法では、予測長さ $L_y$ が入力長さ $L_x$ を超えてはならないという制約があるが、大規模な実世界データセットを用いた応用では通常この条件が満たされる。
• 実験では、ETTh1、ETTh2、ETTm1、Electricity の4つの公開データセットを用いて、Informer や MLP といった最先端モデルと HI を比較した。
• 性能評価には、テストセット上で計算される標準的な指標（平均二乗誤差（MSE）と平均絶対誤差（MAE））が用いられた。
• 予測後処理において重み付き平均を用いることで、HI と学習済みモデル（例：MLP + HI）を統合するハイブリッドモデリングの検討も行われた。
• また、入力データの時間的パターン分析に基づいてモデル選択（例：HI 対学習済みモデル）をガイドする、AutoML を模したアプローチも提案された。

実験結果

リサーチクエスチョン

• RQ1 単純さにもかかわらず、長期間時系列予測においてなぜ歴史的慣性（HI）ベースラインがこれほど強力に機能するのか。
• RQ2 HI が学習済みモデルと比較して、どのような状況で優位に立つか、また劣位に立つか、その背後にある時間的性質は何か。
• RQ3 HI をディープラーニングモデルと効果的に統合することで、さらに予測性能を向上させられるか。
• RQ4 自動機械学習（AutoML）パイプラインに HI を統合し、LSTFにおける適応的モデル選択を実現できるか。

主な発見

• ETTm1データセットにおいて、672ステップ先を予測する際、HIはInformerと比較して最大82%の相対的改善を達成した。
• ETTh1データセットでは、720ステップ先の予測において、MSEが1.215（Informer）から0.714に低下し、MAEが0.896から0.563に低下した。
• 予測長さが96、288、672ステップのとき、ETTm1データセットにおいてHIは最先端モデルを顕著に上回った。これは、歴史的データに周期的パターン（例：1日サイクル）が明確に現れているためである。
• 短い予測長さ（例：24または48ステップ）では、HIは周期的パターンのカバーが不十分なため、性能が劣位に立つ傾向にあり、時間的規則性に依存していることが示された。
• Electricityデータセットにおいて、MLP + HI のハイブリッドモデルはMLP単体よりも一貫して性能が向上し、720ステップ予測においてMSEとMAEが最大10%低下した。
• HIの強みは、予測長さが時系列の周期の整数倍である場合に顕著に現れ、このとき位相と振幅がターゲットと一致するためである。