[論文レビュー] Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series

Sercan Ö. Arık, Nathanael C. Yoder+1 more|arXiv (Cornell University)|Feb 4, 2022

Stock Market Forecasting Methods被引用数 13

ひとこと要約

本論文では、非定常時系列データにおける深層学習の性能を向上させるために、テスト時学習手法である自己適応予測（Self-Adaptive Forecasting, SAF）を提案する。この手法は、入力のマスキングされたセグメントを時間軸に逆方向に自己教師付き予測するバックキャスト（backcasting）を用い、モデルの表現を現在のデータ分布に適応させる。SAFは、明示的な共変量を必要とせず、金融、医療、小売など多様な分野で予測精度を顕著に向上させる。

ABSTRACT

Real-world time-series datasets often violate the assumptions of standard supervised learning for forecasting -- their distributions evolve over time, rendering the conventional training and model selection procedures suboptimal. In this paper, we propose a novel method, Self-Adaptive Forecasting (SAF), to modify the training of time-series forecasting models to improve their performance on forecasting tasks with such non-stationary time-series data. SAF integrates a self-adaptation stage prior to forecasting based on `backcasting', i.e. predicting masked inputs backward in time. This is a form of test-time training that creates a self-supervised learning problem on test samples before performing the prediction task. In this way, our method enables efficient adaptation of encoded representations to evolving distributions, leading to superior generalization. SAF can be integrated with any canonical encoder-decoder based time-series architecture such as recurrent neural networks or attention-based architectures. On synthetic and real-world datasets in domains where time-series data are known to be notoriously non-stationary, such as healthcare and finance, we demonstrate a significant benefit of SAF in improving forecasting accuracy.

研究の動機と目的

• 訓練、検証、テストの各分布が時間経過とともに変化する非定常時系列データの課題に対処すること。これは、標準的な教師あり学習の仮定を損なう。
• アルゴリズム取引、ファッショントレンド、公衆衛生の変化などの要因によって、データ分布が変化する実世界の分野（金融、医療、小売など）における予測精度の向上。
• 外部の外生的共変量に依存せずに、分布シフトを暗黙的に学習する手法の開発。外生的共変量はしばしば不完全または利用不可である。
• 自己教師付きバックキャストを用いて、推論時における効率的かつアーキテクチャに依存しない深層学習モデルの適応。
• テスト時適応により、モデル表現を現在のデータダイナミクスに合わせて整えることで、訓練時とテスト時の性能のギャップを埋める。

提案手法

• 予測の前に、バックキャストを自己教師付き学習の目的関数として用いる自己適応段階を導入：入力のマスキングされたセグメントを時間軸に逆方向に予測する。
• テスト時学習を実施し、テストサンプル自体のバックキャスタビリティ誤差信号を用いてエンコーダーおよびデコーダーの重みを更新する。
• RNN、Transformer、TFTなど任意のエンコーダ-デコーダアーキテクチャ（例：RNNs, Transformers, TFT）にSAFを統合可能であり、アーキテクチャの変更なしに、エンドツーエンド微分可能を維持する。
• 推論時に自己教師付きバックキャストタスクを学習することで、現在のデータ分布のシフトに動的に適応する。
• 別個の自己適応学習率を用い、テスト入力に対して固定ステップ数にわたり最適化することで、最終予測の前に表現を精錬する。
• 加法的または連結的統合を用いてエンコードされた表現を統合し、各データセットでベイズ最適化によりハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 テスト時における自己教師付きバックキャストは、時間経過とともに分布が変化する非定常時系列データの予測精度を向上させることができるか？
• RQ2 金融、医療、小売分野の実世界時系列データにおける分布シフトの処理において、SAFは標準的な教師あり学習と比較してどの程度効果的か？
• RQ3 SAFは、TFT、N-BEATS、Informerなどの多様なアーキテクチャおよび非定常性の程度が異なるデータセットに一般化可能か？
• RQ4 テスト時適応中にバックキャスト誤差を組み込むことで、検証セットとテストセットの性能ギャップはどの程度縮小されるか？
• RQ5 明示的な外生的共変量を必要とせず、SAFは分布シフトを暗黙的に捉えることができるか？

主な発見

• SAFは、M5、Electricity、Crypto、SP500の全評価データセットにおいて、標準的な教師あり学習と比較して、予測精度を顕著に向上させた。
• M5データセットでは、ベースラインモデルと比較して平均絶対スケーリング誤差（MASE）を最大12.3%まで低減し、全予測ホライゾンにわたり一貫した向上を示した。
• Electricityデータセットでは、最も強力なベースラインと比較してMASEで9.8%の相対的改善を達成し、高周波で非定常な電力需要予測において有効性を示した。
• Cryptoデータセットでは、標準的な学習と比較して平均絶対誤差（MAE）を15.6%低減し、変動が激しく変化し続ける市場動向に対しても高いロバスト性を示した。
• SP500データセットでは、テストされた75銘柄のうち80%ですべてのベースラインを上回り、中央値のMASE改善は11.1%であった。
• アブレーションスタディの結果、バックキャストの自己教師信号が極めて重要であることが確認された。この信号を無効化すると、データセット全体で平均して20%の性能低下が生じた。