[論文レビュー] An Empirical Experiment on Deep Learning Models for Predicting Traffic Data

Hyunwook Lee, Cheonbok Park+4 more|arXiv (Cornell University)|May 12, 2021

Traffic Prediction and Management Techniques参考文献 31被引用数 15

ひとこと要約

本論文は、同一の実験条件の下で7つの公開データセットを用いて、8つの最先端の深層学習モデルの交通速度および交通量予測について包括的かつ標準化された評価を実施している。結果として、Graph-WaveNetが平均的な精度で最高を記録した一方、GMANは長期予測において優れた性能を示した。両モデルとも、急激な交通変化が生じる区間においても優れた耐性を示しており、実運用における動的条件下でのモデル評価の重要性を浮き彫りにしている。

ABSTRACT

To tackle ever-increasing city traffic congestion problems, researchers have proposed deep learning models to aid decision-makers in the traffic control domain. Although the proposed models have been remarkably improved in recent years, there are still questions that need to be answered before deploying models. For example, it is difficult to figure out which models provide state-of-the-art performance, as recently proposed models have often been evaluated with different datasets and experiment environments. It is also difficult to determine which models would work when traffic conditions change abruptly (e.g., rush hour). In this work, we conduct two experiments to answer the two questions. In the first experiment, we conduct an experiment with the state-of-the-art models and the identical public datasets to compare model performance under a consistent experiment environment. We then extract a set of temporal regions in the datasets, whose speeds change abruptly and use these regions to explore model performance with difficult intervals. The experiment results indicate that Graph-WaveNet and GMAN show better performance in general. We also find that prediction models tend to have varying performances with data and intervals, which calls for in-depth analysis of models on difficult intervals for real-world deployment.

研究の動機と目的

• データセットや評価環境の不一致による、交通予測のための深層学習モデル同士の比較の難しさを解消すること。
• 平均精度に加え、実運用に不可欠な急激な交通変化が生じる区間におけるモデルの性能を評価すること。
• 精度、推論時間、動的交通パターン下での耐性の観点から、最先端モデルの直接的かつ公平な比較を実施すること。
• 特に事故やラッシュアワーなどの非周期的イベント発生時における交通ダイナミクスの変化に伴うモデルの強み・弱みを特定すること。

提案手法

• 速度および交通量予測のための7つの公開交通データセット（METR-LA、PeMS-BAY、および5つのPeMSデータセット）を用い、一貫したデータ前処理および評価プロトコルを確保した。
• STGCN、DCRNN、ASTGCN、ST-MetaNet、Graph-WaveNet、STG2Seq、STS-GCN、GMANの8つの最先端モデルを、同一の計算環境下で訓練および評価した。
• 30分移動標準偏差を用いて困難な区間（速度および交通量の変動が著しい期間）を抽出し、急激な交通変化を特定した。
• MAE、RMSE、MAPEを用いて複数の予測時間窓（例：15分、30分、60分予測）で性能を測定し、動的条件下でのモデルの耐性に特に注目した。
• 全テストセット評価と区間別評価を組み合わせ、安定した交通状態と急激な変化が生じる状態下でのモデル挙動を比較した。
• 性能低下は、平均性能に対する困難な区間でのMAEの相対的増加として定量化され、モデルの耐性の比較が可能になった。

実験結果

リサーチクエスチョン

• RQ1 標準化された条件下で、多様な交通データセットにおいて、どの深層学習モデルが最高の平均予測精度を達成するか？
• RQ2 事故に起因する急激な速度低下などの急激な交通変化が生じる区間では、モデルの性能はどのように変化するか？
• RQ3 交通ダイナミクスが急激に変化する状況においても、どのモデルが最も安定した性能を示すか？これは、実運用における耐性の高いモデルを示唆する。
• RQ4 速度予測と交通量予測のタスクにおけるモデルの性能はどのように異なるか？また、MAPE、RMSE、MAEといった指標は一貫した順位付けを示すか？
• RQ5 RNNベースのモデルの自己回帰的性質は、長期予測において誤差をどのように拡大させるか？

主な発見

• Graph-WaveNetは、全データセットおよび全予測時間窓において最高の平均精度を達成し、速度予測および交通量予測の両タスクで他モデルを上回った。
• GMANは長期予測（例：60分予測）において優れた性能を示し、長期予測に最適な選択肢であることが明らかになった。
• すべてのモデルが、急激な交通変化が生じる区間で顕著な性能低下を示した。平均的な低下率はMAEで67.3％から180.3％にのぼった。
• ASTGCNは全データセットにおいて最小の性能低下を示し、他のモデルと比較して急激な交通変化に対してより高い耐性を示した。
• ST-MetaNetは困難な区間で最悪の性能を示した。これは、不変の事前知識に依存するメタラーニング機構に起因する。
• モデルの性能は交通データの移動標準偏差と強く相関しており、速度や交通量が急激に変化する場合にはモデルの性能が著しく低下することが判明した。これは、モデルベンチマークにおいて動的条件下の評価が不可欠であることを強調している。