[論文レビュー] Long-Range Transformers for Dynamic Spatiotemporal Forecasting

Jake Grigsby, Zhe Wang+2 more|arXiv (Cornell University)|Sep 24, 2021

Time Series Analysis and Forecasting参考文献 56被引用数 78

ひとこと要約

本論文は Spacetimeformer を紹介する。これは各時刻の各変数を別々の入力トークンとして扱う時空間トランスフォーマーであり、事前に定義されたグラフを使わずに動的な変数関係を学習し、交通・電力・天気・地下鉄乗客数のタスクで競争力のある結果を達成する。

ABSTRACT

Multivariate time series forecasting focuses on predicting future values based on historical context. State-of-the-art sequence-to-sequence models rely on neural attention between timesteps, which allows for temporal learning but fails to consider distinct spatial relationships between variables. In contrast, methods based on graph neural networks explicitly model variable relationships. However, these methods often rely on predefined graphs that cannot change over time and perform separate spatial and temporal updates without establishing direct connections between each variable at every timestep. Our work addresses these problems by translating multivariate forecasting into a "spatiotemporal sequence" formulation where each Transformer input token represents the value of a single variable at a given time. Long-Range Transformers can then learn interactions between space, time, and value information jointly along this extended sequence. Our method, which we call Spacetimeformer, achieves competitive results on benchmarks from traffic forecasting to electricity demand and weather prediction while learning spatiotemporal relationships purely from data.

研究の動機と目的

• 多変量予測の動機づけと、1時間ごとに1トークンを割り当てる Transformers が空間的関係を捉える際の制限。
• 各トークンが特定の時刻における変数を表す時空間的な系列形式を提案する。
• Spacetimeformer のエンコーダ–デコーダを開発し、時空間注意機構を通じて動的な変数関係を学習する。
• 交通、電力、天気から地下鉄乗客数までのベンチマークで競争力のある性能を示す。
• 将来の研究のためのデータセットとモデル実装を含むオープンソースのコードベース。

提案手法

• 多変量入力を長いトークン列に平坦化し、各トークンは特定時刻の単一変数を表す。
• Time2Vec を用いた時間情報と学習された時間/変数埋め込み、さらに位置埋め込みで埋め込む。
• 拡張されたトークン列に対して時空間注意を適用し、動的な空間的・時間的相互作用を学習する。
• Transformerのエンコーダ–デコーダアーキテクチャ内で、グローバルな時空間注意とともに局所的な注意バイアス（変数ごと）を組み込む。
• スケーラブルな注意機構（例: Performer FAVOR+）と任意の畳み込み/シフトウィンドウを用いて長いシーケンスを扱う。
• 元データが欠損であることを示す専用の埋め込み戦略で欠損データを扱う。

実験結果

リサーチクエスチョン

• RQ1 Spacetimeformer は長期予測タスクで seq2seq モデルに匹敵するか、あるいは上回るか？
• RQ2 事前に定義されたグラフに依存せず、グラフベースの空間モデルと競争できるか？
• RQ3 時空間的な系列形式はデータから意味のある変数間の関係を直接学習できるか？
• RQ4 長いシーケンスと高次元の空間的問題へのスケーラビリティはどの程度か？

主な発見

• Spacetimeformer は交通予測から電力生産、温度予測、地下鉄乗客数に至るベンチマークで競争力のある結果を達成する。
• 事前定義された空間グラフを必要とせず、グラフベース手法や標準の TSF ベースラインに対しても良好な性能を示す。
• 注意パターンは、定性的分析において真理空間的な空間構造と一致する学習済みの変数関係を明らかにする。
• 高速な注意機構とアーキテクチャ的バイアスを用いて長い時空間列にスケールし、欠損データは専用埋め込みで扱う。