[論文レビュー] Topological Attention for Time Series Forecasting

Sebastian Zeng, Florian Gräf+2 more|arXiv (Cornell University)|Jul 19, 2021

Topological and Geometric Data Analysis参考文献 34被引用数 15

ひとこと要約

本稿では、時間系列データのスライディングウィンドウから持久ホモロジーを用いて抽出した局所的トポロジカル特徴量を、微分可能アテンション機構を介してニューラル予測モデルに統合する『トポロジカルアテンション』を提案する。N-BEATSと組み合わせることで、M4ベンチマークにおいて最先端の性能を達成し、M4優勝者と比較してsMAPEを0.4%、OWAを1.2%低減した。

ABSTRACT

The problem of (point) forecasting $ extit{univariate} $ time series is considered. Most approaches, ranging from traditional statistical methods to recent learning-based techniques with neural networks, directly operate on raw time series observations. As an extension, we study whether $ extit{local topological properties}$, as captured via persistent homology, can serve as a reliable signal that provides complementary information for learning to forecast. To this end, we propose $ extit{topological attention}$, which allows attending to local topological features within a time horizon of historical data. Our approach easily integrates into existing end-to-end trainable forecasting models, such as $ exttt{N-BEATS}$, and in combination with the latter exhibits state-of-the-art performance on the large-scale M4 benchmark dataset of 100,000 diverse time series from different domains. Ablation experiments, as well as a comparison to a broad range of forecasting methods in a setting where only a single time series is available for training, corroborate the beneficial nature of including local topological information through an attention mechanism.

研究の動機と目的

• 局所的トポロジカル特徴量（持久ホモロジーから抽出）が、時間系列予測の補完的信号として有効であるかを調査すること。
• 時間系列の歴史的セグメント内の局所的トポロジカルパターンに注目できる、微分可能なアテンション機構を構築すること。
• 大規模（M4ベンチマーク）および低データ（単一時間系列）の設定におけるトポロジカルアテンションの有効性を評価すること。
• アテンションを介して統合されたトポロジカル特徴量が、標準的なニューラルネットワークモデルを上回る予測性能を実現することを示すこと。

提案手法

• 時間系列データを、長さ $ n = loor{0.7 imes T} $ の重複するウィンドウでスライディング処理する。
• 各ウィンドウに対して、時間遅れ埋め込みとヴェイトリス＝リプスの持久ホモロジーを用いて、パーシステンスバーコードを計算する。
• 微分可能で学習可能な写像 $ V_ heta $ を用いて、バーコードを $ bR^e $ にベクトル化し、勾配の流れを可能にする。
• 位置エンコーディングを施したトランスフォーマーエンコーダーレイヤーを用いて、マルチヘッド自己アテンション機構を実装する。
• アテンションモジュールの出力をMLPで変換し、文脈ベクトル $ bv o bR^T $ を生成する。このベクトルは、予測モデルの入力時間系列と統合される。
• 全体のアーキテクチャはエンドツーエンドで学習可能であり、N-BEATSなど既存モデルに大幅なアーキテクチャ変更なしにシームレスに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 短い時間ウィンドウから持久ホモロジーを用いて抽出した局所的トポロジカル特徴量は、時間系列予測に意味的で補完的な信号を提供できるか？
• RQ2 微分可能なアテンション機構を介してこれらの局所的トポロジカル特徴量に注目することで、標準的なニューラル予測モデルと比較して予測精度が向上するか？
• RQ3 単一の時間系列での学習に限った低データ環境下でも、トポロジカルアテンションは有効に機能するか？
• RQ4 予測モデルに統合された際、トポロジカル特徴量とアテンション機構の相対的寄与度はどの程度か？

主な発見

• トポロジカルアテンションはM4ベンチマークにおける予測性能を向上させ、N-BEATSベースラインと比較してOWAで0.4%の相対的改善を達成した。
• M4コンペティション優勝者と比較して、sMAPEを0.4%、OWAを1.2%低減した。10万件の時間系列で構成されるベンチマークで、最先端の性能を示した。
• アブレーションスタディでは、トポロジカル特徴量またはアテンション機構を個別に追加しても性能向上は得られず、両者の組み合わせが成績向上に不可欠であることが判明した。
• 特に大規模なサブグループ（例：23,000件の年次系列および48,000件の月次系列）において優れた性能を発揮しており、多様な時間系列ドメインにわたる堅牢性が示された。
• トポロジカル特徴量の計算に最小限の計算オーバーヘッドしか発生しないにもかかわらず、大規模な予測タスクへのスケーリングが効果的に可能である。
• N-BEATSへのトポロジカルアテンションの統合は、M4のすべてのサブグループで一貫した改善をもたらし、OWAにおいて統計的に有意な向上が得られた。