[論文レビュー] Expressing Multivariate Time Series as Graphs with Time Series Attention Transformer

William T. Ng, K. Siu+2 more|arXiv (Cornell University)|Aug 19, 2022

Time Series Analysis and Forecasting被引用数 7

ひとこと要約

本論文は、多変量時系列を自己強化された動的グラフとして表現することで、系列内時間的依存性と系列間相関を両方捉える、新しい手法Time Series Attention Transformer (TSAT)を提案する。自己注意メカニズムとスーパーエンプティカルモード分解（SMD）モジュールを統合することで、複数の予測ベンチマークにおいて6つの最先端モデルを上回り、実世界および合成データセットにおいて優れた性能を示した。

ABSTRACT

A reliable and efficient representation of multivariate time series is crucial in various downstream machine learning tasks. In multivariate time series forecasting, each variable depends on its historical values and there are inter-dependencies among variables as well. Models have to be designed to capture both intra- and inter-relationships among the time series. To move towards this goal, we propose the Time Series Attention Transformer (TSAT) for multivariate time series representation learning. Using TSAT, we represent both temporal information and inter-dependencies of multivariate time series in terms of edge-enhanced dynamic graphs. The intra-series correlations are represented by nodes in a dynamic graph; a self-attention mechanism is modified to capture the inter-series correlations by using the super-empirical mode decomposition (SMD) module. We applied the embedded dynamic graphs to times series forecasting problems, including two real-world datasets and two benchmark datasets. Extensive experiments show that TSAT clearly outerperforms six state-of-the-art baseline methods in various forecasting horizons. We further visualize the embedded dynamic graphs to illustrate the graph representation power of TSAT. We share our code at https://github.com/RadiantResearch/TSAT.

研究の動機と目的

• 多変量時系列における時間的ダイナミクスと変数間依存関係を効果的にモデル化する表現学習フレームワークの開発。
• 豊富な系列内時間的パターンを保持しつつ、複雑な系列間相関を捉える課題への対処。
• 学習可能な構造的表現を持つ自己強化動的グラフに時系列を変換することで、予測精度の向上。
• 多様な実世界およびベンチマークデータセットにおける提案手法の有効性の検証。

提案手法

• ノードが時系列変数を表し、エッジが進化する系列間相関を符号化する動的グラフを構築する。
• 系列間依存関係をモデル化するために、スーパーエンプティカルモード分解（SMD）モジュールで強化された変更された自己注意メカニズムを採用する。
• 各時系列内の時間的依存関係は、時間とともに変化する学習可能なノード表現によって捉える。
• 動的グラフ内の近隣情報に基づいてノード特徴を更新するため、グラフニューラルネットワーク（GNN）に類似した集約手法を用いる。
• 最終的な予測ヘッドは、動的グラフ構造全体を通じて更新されたノード表現を処理し、予測を生成する。
• 予測ホライズンにおける標準的な回帰損失を用いて、全フレームワークをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 動的グラフ表現は、多変量時系列における系列内および系列間依存関係を効果的にモデル化できるか？
• RQ2 自己注意にSMDを統合することで、時系列予測のための表現学習がどのように向上するか？
• RQ3 提案されたTSATモデルは、多様な予測ベンチマークおよび実世界データセットで最先端の性能を達成するか？
• RQ4 学習された動的グラフは、意味のある時間的および変数間関係を捉えるために解釈可能か？

主な発見

• TSATは、実世界およびベンチマークデータセットの全評価予測ホライズンにおいて、6つの最先端ベースラインモデルを顕著に上回った。
• ETTh1およびETTh2データセットでは、平均絶対誤差（MAE）および平均二乗平方誤差（RMSE）が最低となり、次に良いベースラインより最大15%の改善を達成した。
• 埋め込み済み動的グラフの可視化から、時間経過に伴い一貫性があり意味のある構造的変化が観察され、系列間関係の効果的な学習が示された。
• SMD強化注意メカニズムにより、時系列間の非線形的かつマルチスケールな依存関係をより良く捉えることができ、性能向上に寄与した。
• アブレーションスタディにより、動的グラフ構築とSMDモジュールの両方が、モデルの優れた性能を実現する上で不可欠な要素であることが確認された。