[論文レビュー] Minusformer: Improving Time Series Forecasting by Progressively Learning Residuals

Daojun Liang, Haixia Zhang+3 more|arXiv (Cornell University)|Feb 4, 2024

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

Minusformer は、過学習を是正するため、アドディティブなアテンションを減算ベースの残差学習に置き換えることで、時系列予測のための新しいTransformerベースのアーキテクチャを提案する。二重ストリームハイウェイ機構を通じて段階的に残差を学習することで、データセット全体で平均11.9%の向上を達成し、SOTAの性能を実現するとともに、解釈可能性と深さおよびハイパーパramータに対するロバスト性を向上させる。

ABSTRACT

In this paper, we find that ubiquitous time series (TS) forecasting models are prone to severe overfitting. To cope with this problem, we embrace a de-redundancy approach to progressively reinstate the intrinsic values of TS for future intervals. Specifically, we introduce a dual-stream and subtraction mechanism, which is a deep Boosting ensemble learning method. And the vanilla Transformer is renovated by reorienting the information aggregation mechanism from addition to subtraction. Then, we incorporate an auxiliary output branch into each block of the original model to construct a highway leading to the ultimate prediction. The output of subsequent modules in this branch will subtract the previously learned results, enabling the model to learn the residuals of the supervision signal, layer by layer. This designing facilitates the learning-driven implicit progressive decomposition of the input and output streams, empowering the model with heightened versatility, interpretability, and resilience against overfitting. Since all aggregations in the model are minus signs, which is called Minusformer. Extensive experiments demonstrate the proposed method outperform existing state-of-the-art methods, yielding an average performance improvement of 11.9% across various datasets.The code has been released at https://github.com/Anoise/Minusformer.

研究の動機と目的

• 高次元の属性空間における深層時系列予測モデルに広がる過学習の問題に対処すること。
• 予測性能を損なわず、一般化性能と過学習に対するレジliエンスを向上させること。
• 学習駆動型の残差機構を通じて、入力および出力信号の暗黙的で段階的な分解を可能にすること。
• ブロックレベルの出力を最終予測構造と一致させることで、モデルの解釈可能性を向上させること。
• 極めて深い構造でも性能を維持できる、ハイパーパramータに依存しない深層アーキテクチャを設計すること。

提案手法

• Transformerにおける標準的な加法的アテンションを、減算ベースの集約に置き換えることで、「Minusformer」アーキテクチャを構築し、すべての情報フローにマイナス記号を用いる。
• 各ブロックに補助出力ストリームを導入し、後続の出力が事前に学習した結果を差し引くことで、教師信号の残差を学習する。
• 二重ストリーム設計により、層を跨いで残差学習を行うことで、入力および出力シーケンスの暗黙的で段階的な分解が可能になる。
• 減算ベースの学習による冗長性低減効果のおかげで、16ブロックまで深くスタックしても過学習を示さない。
• さまざまなアテンションメカニズム（例：Prob-Attention、Period-Attention）と互換性があり、パラメータ交換可能に統合することで性能向上が可能になる。
• 最終予測形状とブロック出力を一致させることで、各層での学習されたコンポーネントの可視化が可能になり、モデルの解釈性が向上する。

Figure 1: Comparison of the proposed Minusformer and other latest advanced models. The results (MSE) are averaged across all prediction lengths. The numerical suffix after the model indicates the input length of the model. Minusformer is configured with two versions of input length in order to align

実験結果

リサーチクエスチョン

• RQ1 加法的アテンションを減算ベースの集約に置き換えることで、時系列予測モデルにおける過学習を軽減できるか？
• RQ2 二重ストリームハイウェイ機構による段階的残差学習は、一般化性能と性能を向上させるか？
• RQ3 Minusformerアーキテクチャは、標準的なTransformerとは異なり、深くスタックされても強い性能を維持できるか？
• RQ4 モデルの設計が、層を跨いで学習されたコンポーネントの解釈可能性をどの程度向上させるか？
• RQ5 Prob-Attention や Flow-Attention のような新しいアテンションメカニズムと統合した場合、Minusformer はどの程度の性能を示すか？

主な発見

• Minusformer は、既存のSOTA手法と比較して、多様な実世界の時系列データセット全体で平均11.9%の性能向上を達成した。
• Electricity および Weather データセットでは、Minusformer に Prob-Attention を統合したことで、MSE がそれぞれ46%および61%低減され、新たなSOTA結果を樹立した。
• モデルは16ブロックまで深くしても、過学習の兆候が見られず、強い性能を維持した。これに対して、標準的な iTransformer は8ブロックで過学習を示した。
• 可視化結果から、浅いブロックは低次元設定で顕著なパターンを学習しているのに対し、より深いブロックはモデル容量の増大に伴い残差成分を吸収していることがわかった。
• 付録Bのアブレーションスタディから、ハイパーパramータチューニングに対して感受性が低いことが示された。
• アテンション可視化から、各ブロックが意味のある進化するパターンを学習しており、より深いブロックでは微細な残差を捉えていることが確認された。

Figure 2: Generalization of the model when time series are aggregated in different directions. The experiment was conducted utilizing Transformer with 4 blocks (baseline) on the Traffic dataset.