[論文レビュー] HUTFormer: Hierarchical U-Net Transformer for Long-Term Traffic Forecasting

Zezhi Shao, Fei Wang+8 more|arXiv (Cornell University)|Jul 27, 2023

Traffic Prediction and Management TechniquesEngineering被引用数 3

ひとこと要約

HUTFormerは、階層的エンコーダーにおけるウィンドウ自己注意とセグメントマージを活用し、多スケール表現を抽出する新しい階層的U-Net Transformerアーキテクチャを提案する。デコーダーではスケール間注意を用いてそれらを統合する。4つの交通データセットにおいて最先端の性能を達成し、1日予測タスクにおいて従来のベースラインを顕著に上回る。

ABSTRACT

Traffic forecasting, which aims to predict traffic conditions based on historical observations, has been an enduring research topic and is widely recognized as an essential component of intelligent transportation. Recent proposals on Spatial-Temporal Graph Neural Networks~(STGNNs) have made significant progress by combining sequential models with graph convolution networks. However, due to high complexity issues, STGNNs only focus on short-term traffic forecasting (e.g., 1-h ahead), while ignoring more practical long-term forecasting. In this paper, we make the first attempt to explore long-term traffic forecasting (e.g., 1-day ahead). To this end, we first reveal its unique challenges in exploiting multi-scale representations. Then, we propose a novel Hierarchical U-Net TransFormer~(HUTFormer) to address the issues of long-term traffic forecasting. HUTFormer consists of a hierarchical encoder and decoder to jointly generate and utilize multi-scale representations of traffic data. Specifically, for the encoder, we {\color{black}propose} window self-attention and segment merging to extract multi-scale representations from long-term traffic data. For the decoder, we design a cross-scale attention mechanism to effectively incorporate multi-scale representations. In addition, HUTFormer employs an efficient input embedding strategy to address the complexity issues. Extensive experiments on four traffic datasets show that the proposed HUTFormer significantly outperforms state-of-the-art traffic forecasting and long time series forecasting baselines.

研究の動機と目的

• インтелиジェント交通システムにおける実用的意義が高いため、依然として未解決の課題である長期交通予測（例：1日予測）に対処すること。
• 長期交通系列内における細粒度の局所的変化と粗粒度のグローバルパターンの両方を効果的に活用する際の特有の困難を特定すること。
• グラフ畳み込みに依存せずに、多スケール表現を効率的に生成・利用できるモデルを設計すること。これにより、従来の空間時系列グラフニューラルネットワーク（STGNN）の高い計算複雑性を克服すること。
• 標準的なU-NetやFPN設計とは異なり、非整合な入力および出力系列を扱えるトランスフォーマー基盤のアーキテクチャを開発すること。
• 効率的な入力埋め込み戦略を用いることで、計算効率を維持したまま長期予測の高精度を達成すること。

提案手法

• 階層的エンコーダーは、固定サイズの時系列ウィンドウ内での局所的依存関係を捉えるためにウィンドウ自己注意を用い、長系列のスケーラブルなモデリングを可能にする。
• セグメントマージを適用して、隣接するウィンドウを段階的に結合し、多スケール表現を捉える階層的構造を形成する。
• デコーダーはスケール間注意を用いて階層の異なるレベルからの特徴を動的に統合し、グローバルな文脈とローカルな詳細を融合できるようにする。
• 効率的な入力埋め込み戦略として、セグメント埋め込みと空間時系列位置エンコーディング（ST-PE）を組み合わせ、グラフ畳み込みの2次関数的複雑性を回避する。
• ST-PEは空間的位置、1日あたり288個の時間スロット、および7日間の曜日に対して学習可能な埋め込みを用い、明示的なグラフ構造なしに周期的パターンを捉える。
• アーキテクチャは、非整合な歴史的および将来の系列を扱えるように設計されており、入力と出力がピクセルで一致しない長期予測に適している。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みや固定受容野を持つ自己注意に依存せずに、長期交通系列から多スケール表現を効果的に生成する方法は何か？
• RQ2 計算複雑性を低く保ちながら、効率的かつ正確な長期交通予測（例：1日）を実現するためのアーキテクチャ的設計は何か？
• RQ3 異なる抽象化レベルからの多スケール特徴をデコーディング段階で効果的に統合するにはどうすればよいか？これにより、グローバルトレンドとローカル異常値の両方の予測が向上する。
• RQ4 提案されたHUTFormerは、実世界のデータセットにおいて、既存のSOTAモデルをどの程度上回るか？
• RQ5 階層的設計とセグメントベース処理を備えたトランスフォーマー基盤アーキテクチャは、標準的なトランスフォーマーやSTGNNに比べ、長期間にわたる多次元時系列予測でより優れた性能を達成できるか？

主な発見

• HUTFormerは、Graph WaveNet や Autoformer を含む最先端の交通予測モデルを、4つの実世界交通データセットにおいて顕著に上回り、特に急激な交通変化の捉え方において優れている。
• アブレーションスタディにより、階層的構造とスケール間注意が不可欠であることが確認され、階層を欠いたHUTFormerは完全なモデルより性能が劣ることがわかった。
• 位置エンコーディングの可視化から、空間センサーの明確なクラスタリングと強い日次周期性が観察され、モデルが意味のある空間時系列パターンを学習できていることが裏付けられた。
• モデルは、大規模な特徴により日次周期性を効果的に捉え、細粒度の特徴により急激な混雑変化も的確に把握しており、多スケール能力が裏付けられた。
• ハイパーパramータスタディにより、ウィンドウサイズやセグメントマージの設定に対してロバストであることが示され、特定の設定で最適な性能が達成された。
• セグメント埋め込みとST-PEの使用により、グラフ畳み込みベースのモデルと比較して計算複雑性が低減され、長系列へのスケーラビリティが実現された。