[論文レビュー] Infomaxformer: Maximum Entropy Transformer for Long Time-Series Forecasting Problem

Peiwang Tang, Xianchao Zhang|arXiv (Cornell University)|Jan 4, 2023

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

Infomaxformer は最大エントロピーに基づく自己注意メカニズムとキー/値の蒸留を提案し、Transformer の複雑さを 𝒪(L²) から 𝒪(L) に低減することで、より高い精度で長時間系列予測を可能にした。長距離依存性を捉えるためにスパース注意と季節的・トレンド分解を組み合わせ、複数の長時間系列データセットで最先端モデルを上回る性能を発揮した。

ABSTRACT

The Transformer architecture yields state-of-the-art results in many tasks such as natural language processing (NLP) and computer vision (CV), since the ability to efficiently capture the precise long-range dependency coupling between input sequences. With this advanced capability, however, the quadratic time complexity and high memory usage prevents the Transformer from dealing with long time-series forecasting problem (LTFP). To address these difficulties: (i) we revisit the learned attention patterns of the vanilla self-attention, redesigned the calculation method of self-attention based the Maximum Entropy Principle. (ii) we propose a new method to sparse the self-attention, which can prevent the loss of more important self-attention scores due to random sampling.(iii) We propose Keys/Values Distilling method motivated that a large amount of feature in the original self-attention map is redundant, which can further reduce the time and spatial complexity and make it possible to input longer time-series. Finally, we propose a method that combines the encoder-decoder architecture with seasonal-trend decomposition, i.e., using the encoder-decoder architecture to capture more specific seasonal parts. A large number of experiments on several large-scale datasets show that our Infomaxformer is obviously superior to the existing methods. We expect this to open up a new solution for Transformer to solve LTFP, and exploring the ability of the Transformer architecture to capture much longer temporal dependencies.

研究の動機と目的

• アンサンブルTransformerにおける長時間系列予測（LTFP）における2次時間・メモリ複雑度の問題に対処すること。
• スパース注意メカニズムにおけるランダムサンプリングによる性能低下を克服すること。
• 独自のキー/値の蒸留メカニズムにより、自己注意マップ内の冗長特徴を削減すること。
• 季節的・トレンド分解をTransformerアーキテクチャと統合することで、複雑な時間系列パターンのモデリングを向上させること。
• 高精度を維持したまま、最大1440ステップの長大な入力系列を効果的に処理できるようにすること。

提案手法

• 自己注意を最大エントロピー原理に基づいて再定式化し、スパース注意の計算をガイドすることで、複雑さを低減しつつ重要な依存関係を保持する。
• エントロピー最大化に基づくスパーシティ機構（MEA）を導入し、ランダムサンプリングではなく主要なクエリを選択することで、特徴損失を最小限に抑える。
• 冗長な注意表現を圧縮するためのキー/値の蒸留を提案し、時間的・メモリ的複雑さを両方 𝒪(L) に低減する。
• 時間系列分解（TSD）をエンコーダ・デコーダアーキテクチャと統合し、季節的およびトレンド成分を明示的に分離・モデリングする。
• MEAとTSDを組み合わせることで、スパース性による性能低下を回避し、高精度な長時間系列モデリングを実現する。

Figure 1. Infomaxformer architecture

実験結果

リサーチクエスチョン

• RQ1 最大エントロピー原理を用いて、長時間系列予測に適したより効果的で効率的なスパース注意メカニズムを設計できるか？
• RQ2 予測性能を損なわず、自己注意マップ内の冗長特徴を効果的に除去できるか？
• RQ3 時間系列分解とスパース注意を組み合わせることで、Transformerにおける長距離依存性モデリングが向上するか？
• RQ4 提案手法は、超高長入力系列（例：1440ステップ）にスケーリング可能であり、精度を維持または向上させられるか？
• RQ5 メモリ制約および系列長制約下で、MEAの性能は標準的注意および他のスパース注意メカニズムと比較してどうなるか？

主な発見

• Infomaxformer は時間的・メモリ的複雑さを 𝒪(L²) から 𝒪(L) に低減し、最大1440ステップの超長系列処理を可能にした。
• ETTh1 データセットにおいて、1440ステップの系列長でMSEが0.573、MAEが0.585を達成し、ベースラインを上回った。
• アブレーションスタディの結果、MEA、TSD、またはキー/値の蒸留のいずれかを除去すると、顕著な性能低下が生じた。
• TSDとMEAの組み合わせは、AutoformerのSDBとACを上回り、特に長系列予測（例：192ステップ予測）において顕著な優位性を示した。
• 十分に大きなサンプリング要因Uでは、性能にほとんど影響を及ぼさないため、MEAにおける分散推定のばらつきに対して頑健であることが示された。
• インフォーマと異なり、より情報に基づいた初期サンプリング戦略のおかげで、さまざまなサンプリング要因において安定した性能を維持した。

(a) Softmax scores at Head1@Encoder layer