[論文レビュー] Amortized Predictability-aware Training Framework for Time Series Forecasting and Classification

Xu Zhang, Peng Wang+2 more|arXiv (Cornell University)|Feb 18, 2026

Time Series Analysis and Forecasting被引用数 0

ひとこと要約

APTFは、階層的予測可能性意識損失と償却モデルを用いて、訓練中に低予測可能性の時系列サンプルを動的に識別・ペナルティ付けし、TSFとTSCの性能を向上させる。

ABSTRACT

Time series data are prone to noise in various domains, and training samples may contain low-predictability patterns that deviate from the normal data distribution, leading to training instability or convergence to poor local minima. Therefore, mitigating the adverse effects of low-predictability samples is crucial for time series analysis tasks such as time series forecasting (TSF) and time series classification (TSC). While many deep learning models have achieved promising performance, few consider how to identify and penalize low-predictability samples to improve model performance from the training perspective. To fill this gap, we propose a general Amortized Predictability-aware Training Framework (APTF) for both TSF and TSC. APTF introduces two key designs that enable the model to focus on high-predictability samples while still learning appropriately from low-predictability ones: (i) a Hierarchical Predictability-aware Loss (HPL) that dynamically identifies low-predictability samples and progressively expands their loss penalty as training evolves, and (ii) an amortization model that mitigates predictability estimation errors caused by model bias, further enhancing HPL's effectiveness. The code is available at https://github.com/Meteor-Stars/APTF.

研究の動機と目的

• 時系列データの低予測可能性サンプルに対処する必要性を動機づけ、訓練の安定性と一般化を改善する。
• TSFとTSCの両タスクに適用可能な一般的なフレームワーク（APTF）を導入する。
• 予測可能性でサンプルを動的にビン分けし、損失をスケールする損失形式（HPL）を開発する。
• 予測可能性推定バイアスを減らし学習を強化するための償却モデルを組み込む。
• 複数のデータセットとベースラインモデルで実証的な利得を示す。

提案手法

• 損失値に基づいて低予測可能性のビンを定義し、高損失ビンには対して減少する重みを割り当てる。
• 高/低予測可能性サンプルからの学習バランスと勾配安定化のためにビン群を持つ階層的予測可能性意識損失（HPL）を導入する。
• 予測可能性推定バイアスを吸収し、HPLを改善するために推定を1ステップ遅延で渡す償却モデルを実装する。
• ビンの段階的減少とビン群間の平均損失を用いた予測可能性の進化を階層的戦略で組み込む。
• 複数のベースラインに跨る11の短期TSFデータセット、8つの長期TSFデータセット、UCRからの128のTSCデータセットでAPTFを評価する。

実験結果

リサーチクエスチョン

• RQ1 予測可能性意識の訓練はTSFとTSCタスクの収束性と一般化を改善できるか。
• RQ2 低予測可能性サンプルを、潜在的に有用な情報を捨てることなく特定・ペナルティ付けする方法は。
• RQ3 償却モデルは予測可能性推定のバイアスを減らし訓練の安定性を向上させるか。
• RQ4 多様なベースラインモデルと組み合わせたAPTFの、様々なTSF・TSCベンチマークにおける実証的利得はどれくらいか。

主な発見

• APTFは短期TSFの8つのベースラインモデルで一貫して精度を改善し、トランスフォーマーベースで平均2.06%〜9.79%、リニアモデルで1.79%〜5.79%の改善を示す。
• 長期TSFではトランスフォーマーモデルで平均2.01%〜13.14%、リニアモデルで1.44%〜5.75%の改善を示す。
• 128のUCRデータセットを用いたTSCで、APTFは平均精度を80.97%から81.93%へ向上させ、ベースラインに対する勝ち越しが多い。
• アブレーション研究ではHPL単独でも複数のベースラインの誤差を低減し、償却モデルはさらに予測誤差を約1.4%〜2.1%程度削減する。
• APTFにより損失表現が平坦化し、一般化と頑健性が向上する。