[論文レビュー] Traffic4cast 2020 -- Graph Ensemble Net and the Importance of Feature And Loss Function Design for Traffic Prediction

Qi Qi, Pak Hay Kwok|arXiv (Cornell University)|Dec 3, 2020

Traffic Prediction and Management Techniques参考文献 11被引用数 5

ひとこと要約

本論文では、Traffic4cast 2020 チャレンジにおける交通予測を向上させるために、U-Net と新しいグラフニューラルネットワーク（GNN）アーキテクチャを組み合わせたグラフアンサンブルネットを提示する。特徴量と損失関数の設計を慎重に行い、昨年のU-Netベースラインを大幅に上回り、全体で4位を達成した。これは、交通予測モデルにおいて、アーキテクチャ設計と損失関数設計の重要性を示している。

ABSTRACT

This paper details our solution to Traffic4cast 2020. Similar to Traffic4cast 2019, Traffic4cast 2020 challenged its contestants to develop algorithms that can predict the future traffic states of big cities. Our team tackled this challenge on two fronts. We studied the importance of feature and loss function design, and achieved significant improvement to the best performing U-Net solution from last year. We also explored the use of Graph Neural Networks and introduced a novel ensemble GNN architecture which outperformed the GNN solution from last year. While our GNN was improved, it was still unable to match the performance of U-Nets and the potential reasons for this shortfall were discussed. Our final solution, an ensemble of our U-Net and GNN, achieved the 4th place solution in Traffic4cast 2020.

研究の動機と目的

• 大都市における交通予測性能を、特徴量工学と損失関数設計の最適化によって向上させること。
• 交通データにおける空間的依存関係をモデル化するためのグラフニューラルネットワーク（GNN）の有効性を評価すること。
• 予測精度の向上を図るため、U-Net と GNN を組み合わせた新しいアンサンブルアーキテクチャの開発と検証を行うこと。
• GNNベースのモデルと最先端のU-Netモデルとの間の性能差を分析すること。
• 現実世界の交通予測ベンチマークで予測性能を最大化するための、アーキテクチャ的および学習設計の選択についての知見を提供すること。

提案手法

• 著者らは、時間的・空間的・文脈的交通特徴量を統合するカスタム特徴量工学パイプラインを設計し、モデルの入力表現を向上させた。
• 高交通量領域における予測精度を重視するように変更された損失関数を提案し、モデルの一般化性能を向上させた。
• 道路セグメント間の空間的依存関係をモデル化するために、グラフ畳み込み層を活用する新しいGNNアーキテクチャを導入した。
• 最適化されたU-Netと新しいGNNの予測結果を重み付き平均化することで、アンサンブルモデルを構築し、耐障害性を向上させた。
• GNNはカスタム損失関数とともにエンドツーエンドで学習され、2019年のTraffic4castのベースラインGNNおよびU-Netと比較された。
• ハイパーパrameterは検証データを用いて調整され、最終的な予測性能を向上させるためにモデルアンサンブルが適用された。

実験結果

リサーチクエスチョン

• RQ1 入力特徴量の選択が、交通予測モデルの予測性能に与える影響は何か？
• RQ2 高交通量領域を優先するカスタム損失関数が、モデルの一般化性能をどの程度向上させるか？
• RQ3 新たに設計されたGNNアーキテクチャは、Traffic4cast 2019のGNNソリューションを上回る性能を発揮できるか？
• RQ4 空間的依存関係をモデル化しているにもかかわらず、GNNベースのモデルがU-Netモデルに比べて性能を発揮できない理由は何か？
• RQ5 U-NetとGNNをアンサンブルすることで、単体のモデルよりも性能が向上するか？

主な発見

• 提案された特徴量工学とカスタム損失関数により、U-Netベースラインの性能が著しく向上し、前年度の最良ソリューションを上回った。
• 新規に設計されたGNNアーキテクチャは、Traffic4cast 2019のGNNモデルよりも優れた結果を達成し、アーキテクチャ的イノベーションの価値を示した。
• 改善が見られたにもかかわらず、GNNモデルは依然としてU-Netに劣っており、この特定の時空間予測タスクにおいてGNNの限界が示唆された。
• 最適化されたU-NetとGNNのアンサンブルは、Traffic4cast 2020コンペティションで4位のソリューションを達成し、モデルアンサンブルの有効性を裏付けた。
• 本研究では、特徴量と損失関数の設計が、高性能な交通予測モデルにおいて、アーキテクチャ的イノベーションと同等に重要であることが明らかになった。
• 著者らは、GNNの性能劣化の潜在的要因を特定し、長距離依存関係の不十分なモデル化や、グラフ構造における時間的モデリングの不足が原因である可能性を示唆した。