[論文レビュー] Spatio-Temporal meets Wavelet: Disentangled Traffic Flow Forecasting via Efficient Spectral Graph Attention Network

Yuchen Fang, Yanjun Qin+5 more|arXiv (Cornell University)|Dec 6, 2021

Traffic Prediction and Management Techniques被引用数 6

ひとこと要約

本稿では、離散ウェーブレット変換（DWT）を用いて交通流れを低周波数成分と高周波数成分に分離する新しい時空間交通予測モデル、STWaveを提案する。これにより、二重チャネルエンコーダーを介して長期的・短期的時間パターンを別々にモデル化できる。また、ウェーブレットに基づくグラフ位置エンコーディングとクエリサンプリングを導入した効率的なスペクトルグラフ自己注意ネットワーク（ESGAT）を提案し、計算複雑性をO(N log N)に低減。4つの実世界データセットにおいて、推論コストを抑えた最先端の精度を達成する。

ABSTRACT

Traffic forecasting is crucial for public safety and resource optimization, yet is very challenging due to three aspects: i) current existing works mostly exploit intricate temporal patterns (e.g., the short-term thunderstorm and long-term daily trends) within a single method, which fail to accurately capture spatio-temporal dependencies under different schemas; ii) the under-exploration of the graph positional encoding limit the extraction of spatial information in the commonly used full graph attention network; iii) the quadratic complexity of the full graph attention introduces heavy computational needs. To achieve the effective traffic flow forecasting, we propose an efficient spectral graph attention network with disentangled traffic sequences. Specifically, the discrete wavelet transform is leveraged to obtain the low- and high-frequency components of traffic sequences, and a dual-channel encoder is elaborately designed to accurately capture the spatio-temporal dependencies under long- and short-term schemas of the low- and high-frequency components. Moreover, a novel wavelet-based graph positional encoding and a query sampling strategy are introduced in our spectral graph attention to effectively guide message passing and efficiently calculate the attention. Extensive experiments on four real-world datasets show the superiority of our model, i.e., the higher traffic forecasting precision with lower computational cost.

研究の動機と目的

• 統一的な手法を用いて、交通フロー予測における複雑で混合された時間的パターンをモデル化する課題に取り組む。
• 交通フロー予測における完全グラフ自己注意ネットワーク（GAT）の二次的計算複雑性を克服する。
• 新しいグラフ位置エンコーディングを用いて構造的インダクティブバイアスを組み込むことで、GATにおける空間的メッセージスリングを向上させる。
• 長期的（低周波数）および短期的（高周波数）交通ダイナミクスを別々にモデル化することで、予測精度を向上させる。
• 効率的な自己注意メカニズムとマルチスーパvised学習を用いることで、計算コストを低減しつつ高い性能を達成する。

提案手法

• 原始的な交通流れの時系列を、低周波数成分（長期的トレンド）と高周波数成分（短期的フラクチュエーション）に分解するために、離散ウェーブレット変換（DWT）を適用する。
• 二重チャネルの時空間エンコーダーを設計：一方のチャネルでは拡張因果畳み込みを用いて長期的パターンをモデル化し、もう一方では時間的自己注意を用いて短期的ダイナミクスを処理する。
• ファージョン自己注意が両チャネルからの潜在表現を集約し、統一された予測を生成する。
• 低周波数成分を全交通フローと並行して予測するマルチスーパvised戦略を適用し、長期的トレンドの学習を強化する。
• 計算コストを低減するため、O(N log N)の複雑性を持つ効率的なスペクトルグラフ自己注意ネットワーク（ESGAT）を提案し、標準的なGATに置き換える。
• ウェーブレットに基づくグラフ位置エンコーディングを導入し、構造的および局所的情報を併用してメッセージスリングをガイドする。同時に、クエリサンプリングにより自己注意計算をスパース化する。

実験結果

リサーチクエスチョン

• RQ1 交通時系列を低周波数成分と高周波数成分に分離することで、交通予測における長期的・短期的時間的依存性のモデル化が向上するか？
• RQ2 O(N log N)の複雑性を持つ効率的なスペクトルグラフ自己注意メカニズムは、計算コストを低減しつつ、標準的なGATを上回る性能を示すか？
• RQ3 ウェーブレットに基づくグラフ位置エンコーディングは、構造的および局所的情報を組み込むことで、グラフ自己注意ネットワークにおける空間的メッセージスリングを向上させるか？
• RQ4 低周波数成分に対するマルチスーパvised戦略は、長期的交通トレンドの予測精度をどのように向上させるか？
• RQ5 ESGATと通常のGATまたは完全自己注意を用いた場合の、モデルの精度、推論速度、メモリ使用量のトレードオフは何か？

主な発見

• STWaveは、4つの実世界データセット（PeMSD4, PeMSD8, METR-LA, Pems-Bay）において最先端の性能を達成し、MAE、RMSE、MAPEの指標で既存手法を上回った。
• アブレーションスタディの結果、ESGATモジュールを削除した場合（"-S"）の性能低下が、時間的成分を削除した場合（"-T"）よりも顕著であり、空間的モデリングの重要性が示された。
• すべてのモジュールを備えた完全なSTWaveモデルが最良の性能を達成し、DWT、二重チャネルエンコーダー、ファージョン自己注意、マルチスーパvised、ESGATという5つの主要な構成要素の有効性が確認された。
• パラメータ感度分析の結果、8つの自己注意ヘッドと1ヘッドあたり16次元が最適であり、2層で性能が安定した。
• ベースラインと比較して、STWaveは速度、メモリ使用量、精度のバランスが最も優れており、LSGCN、STGODE、および通常のGATまたは完全自己注意を用いた変種を上回った。
• ウェーブレットに基づくグラフ位置エンコーディングは、固有ベクトル（EV）やnode2vec（N2V）といった代替手法よりも顕著に性能を向上させた。これは、構造的および局所的情報を効果的にバランスさせる能力があるためである。