[論文レビュー] BasisFormer: Attention-based Time Series Forecasting with Learnable and Interpretable Basis

Zelin Ni, Hang Yu+3 more|arXiv (Cornell University)|Oct 31, 2023

Stock Market Forecasting Methods被引用数 12

ひとこと要約

BasisFormer は自己教師付き対比学習を通じてデータ駆動で解釈可能な基底を学習し、双方向のクロスアテンションを用いた Coef モジュールで時系列と基底ベクトルを整合させ、未来ベースベクトルの集約によって予測を行う。 univariate および multivariate forecasting の六データセットで state-of-the-art の改善を達成。

ABSTRACT

Bases have become an integral part of modern deep learning-based models for time series forecasting due to their ability to act as feature extractors or future references. To be effective, a basis must be tailored to the specific set of time series data and exhibit distinct correlation with each time series within the set. However, current state-of-the-art methods are limited in their ability to satisfy both of these requirements simultaneously. To address this challenge, we propose BasisFormer, an end-to-end time series forecasting architecture that leverages learnable and interpretable bases. This architecture comprises three components: First, we acquire bases through adaptive self-supervised learning, which treats the historical and future sections of the time series as two distinct views and employs contrastive learning. Next, we design a Coef module that calculates the similarity coefficients between the time series and bases in the historical view via bidirectional cross-attention. Finally, we present a Forecast module that selects and consolidates the bases in the future view based on the similarity coefficients, resulting in accurate future predictions. Through extensive experiments on six datasets, we demonstrate that BasisFormer outperforms previous state-of-the-art methods by 11.04\% and 15.78\% respectively for univariate and multivariate forecasting tasks. Code is available at: \url{https://github.com/nzl5116190/Basisformer}

研究の動機と目的

• 時系列データのデータセットに合わせて学習可能な基底を用いる動機づける。
• 歴史的ビューと未来ビューを2つのビューとして扱う適応的な自己教師付き学習を通じて基底を学習する。
• 時系列と基底ベクトルの類似度を測る双方向クロスアテンションを用いた Coef モジュールを開発する。
• 学習済みの係数を用いて未来の基底ベクトルを集約し、正確な予測を行う Forecast モジュールを設計する。
• エンドツーエンドの訓練を実証し、六つの実世界データセットで state-of-the-art の改善を示す。

提案手法

• 各時系列の歴史的ビューと未来ビューの間で適応的な自己教師付き対照学習を用いた基底学習。
• 双方向クロスアテンションを用いて歴史ビューにおける時系列と基底ベクトル間の類似度係数を計算する Coef モジュール。
• 係数で加重された未来基底ベクトルを投影・集約して未来の値を予測する Forecast モジュール。
• 損失設計は以下を組み合わせ: 1) 予測 MSE、2) 歴史ビューと未来ビューの係数間の InfoNCE 整合性損失、3) 学習された基底の時間にわたる滑らかさ正則化、さらにタイムスタンプ条件付きの4層 MLP 基底ジェネレータ。
• Basis, Coef, Forecast コンポーネントを統合した BasisFormer のエンドツーエンド訓練。

実験結果

リサーチクエスチョン

• RQ1 学習可能で解釈可能な基底は、固定基底や共変量ベースの基底を時系列予測で上回れるか。
• RQ2 歴史ビューと未来ビューの双方で一貫した basis–time series の関連をどのように堅牢に学習できるか。
• RQ3 基底ベクトルの数とマルチヘッドアテンションが予測精度に与える影響はどれほどか。
• RQ4 基底の質と予測性能のための自己監視整合性損失と滑らかさ損失の重要性はどれほどか。

主な発見

• BasisFormer は univariate 予測で SOTA を最大で 11.04%、multivariate 予測で 15.78% 改善。
• 学習可能な基底は、評価データセット上で固定の正弦/余弦基底や共変量埋め込みを大幅に上回る。
• Coef モジュール内のヘッド数を増やすと一般に効果が上がるが、ある点を過ぎると性能が低下することがある。
• InfoNCE に基づく整合性損失と Basis モジュールの滑らかさ損失の両方が正の寄与をし、それらを組み合わせると最良の結果が得られる。
• 本モデルは特に Traffic のような高周期性データセットで強力な性能を示し、データセット固有の基底を効果的に学習していることを示唆する。