[論文レビュー] STAEformer: Spatio-Temporal Adaptive Embedding Makes Vanilla Transformer SOTA for Traffic Forecasting

Hangchen Liu, Zheng Dong+5 more|arXiv (Cornell University)|Aug 21, 2023

Traffic Prediction and Management Techniques被引用数 10

ひとこと要約

STAEformer は、 vanilla Transformers に時空適応埋め込みを追加し、複雑なグラフ構造を用いずに六つの実世界の交通予測データセットで最先端の成果を達成します。

ABSTRACT

With the rapid development of the Intelligent Transportation System (ITS), accurate traffic forecasting has emerged as a critical challenge. The key bottleneck lies in capturing the intricate spatio-temporal traffic patterns. In recent years, numerous neural networks with complicated architectures have been proposed to address this issue. However, the advancements in network architectures have encountered diminishing performance gains. In this study, we present a novel component called spatio-temporal adaptive embedding that can yield outstanding results with vanilla transformers. Our proposed Spatio-Temporal Adaptive Embedding transformer (STAEformer) achieves state-of-the-art performance on five real-world traffic forecasting datasets. Further experiments demonstrate that spatio-temporal adaptive embedding plays a crucial role in traffic forecasting by effectively capturing intrinsic spatio-temporal relations and chronological information in traffic time series.

研究の動機と目的

• データ表現に焦点を当て、ますます複雑化するモデルよりも交通予測を改善する動機づけ。
• 既存の特徴埋め込みと周期性埋め込みを補完する新しい時空適応埋め込み（Ea）を導入する。
• Ea を搭載した場合、ベースの Transformer が標準ベンチマークで最先端の結果を達成できることを示す。
• Ea、周期性埋め込み、および Transformer コンポーネントが時空間パターンの把握においてどれほど重要であるかをアブレーション研究を通じて示す。

提案手法

• 特徴埋め込み（Ef）、周期性埋め込み（Ep）、および時空適応埋め込み（Ea）を組み合わせて、豊かな入力表現 Z = Ef || Ep || Ea を形成する埋め込み層を開発する。
• 時系列軸と空間軸に沿ってベースの Transformer ブロックを適用して時空間依存性をモデル化し、予測のための回帰層を続ける。
• 六つの交通データセット（METR-LA、PEMS-BAY、PEMS03、PEMS04、PEMS07、PEMS08）で、予測ホライズンは最大60分。
• Ea、Ep、時間的 Transformer 層、または空間/時間 Transformer を除去したアブレーション研究を実施し、各成分の寄与を評価する。

実験結果

リサーチクエスチョン

• RQ1 時空適応埋込みを備えた場合、ベースの Transformer は交通予測で競争力のあるまたは最先端の性能を達成できるか？
• RQ2 提案された埋め込み（Ef、Ep、Ea）は、交通時系列の固有の時空間および時系列関係のモデリングにどのように寄与するか？
• RQ3 時間的/空間的 Transformer コンポーネントを含めるか除外するかが予測精度に与える影響はどれくらいか？

主な発見

• STAEformer は複数のベースラインと比較して、六つの実世界の交通予測ベンチマークで最先端の性能を達成します。
• 時空適応埋め込み Ea は、固有の時空間関係と時系列情報の把握において重要な役割を果たします。
• アブレーション研究は、Ea または Ep、または Transformer コンポーネントを除去すると性能が低下することを示しており、時間的および空間的 Transformer の両方の必要性を強調しています。
• 入力を時系列でシャッフルすると、Eaベースのモデルの方が空間埋め込みよりも大幅に性能が低下し、Ea が年代順をエンコードする効果を示しています。