[論文レビュー] LargeST: A Benchmark Dataset for Large-Scale Traffic Forecasting

Xu Liu, Yutong Xia+8 more|arXiv (Cornell University)|Jun 14, 2023

Traffic Prediction and Management Techniques被引用数 20

ひとこと要約

本論文は LargeST を提案します。5年間（2017–2021）で8,600のカリフォルニア州センサーを用いた大規模な交通予測ベンチマーク、豊富なメタデータ、そしてスケーラビリティ、効率性、時間分布シフトを調査する包括的なベースライン評価です。

ABSTRACT

Road traffic forecasting plays a critical role in smart city initiatives and has experienced significant advancements thanks to the power of deep learning in capturing non-linear patterns of traffic data. However, the promising results achieved on current public datasets may not be applicable to practical scenarios due to limitations within these datasets. First, the limited sizes of them may not reflect the real-world scale of traffic networks. Second, the temporal coverage of these datasets is typically short, posing hurdles in studying long-term patterns and acquiring sufficient samples for training deep models. Third, these datasets often lack adequate metadata for sensors, which compromises the reliability and interpretability of the data. To mitigate these limitations, we introduce the LargeST benchmark dataset. It encompasses a total number of 8,600 sensors in California with a 5-year time coverage and includes comprehensive metadata. Using LargeST, we perform in-depth data analysis to extract data insights, benchmark well-known baselines in terms of their performance and efficiency, and identify challenges as well as opportunities for future research. We release the datasets and baseline implementations at: https://github.com/liuxu77/LargeST.

研究の動機と目的

• 現実のネットワークを反映した大規模で長期の交通予測ベンチマークの必要性を喚起する。
• カリフォルニア全域の8,600個のセンサー、5年分のデータ、各センサーに関する豊富なメタデータを備えた LargeST を紹介する。
• 予測に影響を与える空間的・時間的要因およびメタデータ要因を明らかにするデータ解析を提供する。
• LargeST 上で精度・効率・スケーラビリティを評価する一連のベースラインをベンチマークし、課題と今後の機会を議論する。

提案手法

• CalTrans PeMS データから LargeST を構築し、主要車線センサーを選択し、4km半径内の道路ネットワーク距離に基づく隣接を用いてグラフを生成する。
• 5分間の観測値を15分間のウィンドウに集約して、5年間（2017–2021）に1日あたり96の時刻ステップを得る。
• 座標、郡、ハイウェイ、車線数などを含む包括的なメタデータでセンサーを表現し、解釈性とモデル設計を改善する。
• CA、GLA、GBA、SD の4つのサブデータセットを構築し、中規模から大規模なグラフサイズでのスケーラブルな評価を可能にする。
• すべてのサブデータセットで逐次的に訓練/検証/テストの分割を6:2:2の比率で構築する。MAE、RMSE、MAPEを核となる予測指標として、訓練時間と推論時間を効率性指標として用いる。
• ベースライン群（HL、LSTM、DCRNN、AGCRN、STGCN、GWNET、ASTGCN、STTN、STGODE、DSTAGNN、DGCRN、D2STGNN）を評価し、LargeST 上での性能、効率性、スケーラビリティを分析する。

実験結果

リサーチクエスチョン

• RQ1 5年間のデータを含む大規模センサーネットワーク全体で予測精度はどのように変化するか？
• RQ2 センサーメタデータを組み込むことが予測性能と解釈性に与える影響は？
• RQ3 最先端のベースラインは、LargeST において小規模な公開データセットと比較して精度と効率性の点でどの程度スケールするか？
• RQ4 大規模ネットワークへ交通予測モデルをスケールアップする際に生じる課題（例：時間的分布シフト、モデルの複雑さ）は何か？
• RQ5 LargeST は将来のスケーラブルな予測手法や時系列の基盤モデルの基盤となり得るか？

主な発見

• LargeST は 8,600 のカリフォルニア州センサーと 5 年分のデータからなり、525,888 の時刻フレームを得る。
• ベースライン手法は性能が様々で、GWNET と AGCRN がいくつかのサブデータセットで強力な結果を示す一方、いくつかの最新モデルは CA および GLA サイズへスケールするのに苦戦している。
• STGCN と STGODE は CA のいくつかの指標で GWNET を上回ることがあるが、より多くのパラメータを必要とし、精度とモデルサイズのトレードオフを強調する。
• 動的隣接性とメタデータ認識型モデル（例：DGCRN、D2 STGNN）は、小規模なサブデータセット（SD、GBA）で高く機能する一方、CA や GLA のような大規模グラフではスケーラビリティの課題に直面する。
• CA データセットはメモリ制約のため多くのベースラインが失敗するスケーラビリティの課題を提示し、スケーラブルな交通予測手法の必要性を強調する。
• データセットは時間的分布シフト（パンデミックの年 2020–2021 を含む）の分析をサポートし、単純でありながら有効なモデルおよび基盤 forecasting アプローチの開発を促進します。