[論文レビュー] Learning to Transfer for Traffic Forecasting via Multi-task Learning

Yichao Lu|arXiv (Cornell University)|Nov 27, 2021

Traffic Prediction and Management Techniques参考文献 51被引用数 4

ひとこと要約

本論文は、異なる都市および時間帯のデータを同時に学習することで、時系列的および空間時系列的ドメインシフトに適応可能なマルチタスク学習フレームワークを提案する。U-Netアーキテクチャを用い、複数の都市と時間帯（2019年および2020年）のデータを共同で学習することで、NeurIPS 2021 Traffic4castチャレンジでSOTA性能を達成し、計算コストの増加を最小限に抑えつつ、延長コンペティションで2位を獲得した。

ABSTRACT

Deep neural networks have demonstrated superior performance in short-term traffic forecasting. However, most existing traffic forecasting systems assume that the training and testing data are drawn from the same underlying distribution, which limits their practical applicability. The NeurIPS 2021 Traffic4cast challenge is the first of its kind dedicated to benchmarking the robustness of traffic forecasting models towards domain shifts in space and time. This technical report describes our solution to this challenge. In particular, we present a multi-task learning framework for temporal and spatio-temporal domain adaptation of traffic forecasting models. Experimental results demonstrate that our multi-task learning approach achieves strong empirical performance, outperforming a number of baseline domain adaptation methods, while remaining highly efficient. The source code for this technical report is available at https://github.com/YichaoLu/Traffic4cast2021.

研究の動機と目的

• 時系列的変化（例：パンデミックに起因する変化）および空間的シフト（新規都市の追加）に起因するドメインシフトの課題に対処すること。
• 異なる都市および時間帯に一般化可能な、移譲可能で頑健な予測モデルを開発すること。
• 都市や時間帯ごとにタスク特化的なファインチューニングを必要とせずに、分布シフト下でも性能を向上させること。
• マルチタスク学習が、多様なデータを共同で学習することでドメイン適応を暗黙的に行えることを示すこと。

提案手法

• 複数の都市および時間帯（2019年および2020年）の交通フローデータを用いて、マルチタスク学習で学習されたU-Netベースの深層ニューラルネットワークを採用する。
• すべてのソースドメイン（都市および年）を統合的に最適化することで、分布シフトに耐性を持つ共有表現を学習する。
• 全都市および時間帯にわたる一括モデル学習を実施し、都市ごとのモデルフィッティングを回避する。
• 過学習を防ぐために、特にデータが少ない状況においても早期停止を適用する。
• 空間的および時系列的依存関係をモデル化するため、時空間データを動画のようなシーケンスとして扱い、2次元畳み込みを活用する。
• スコアボード上の性能向上を図るため、推論段階でアンサンブル手法を用いる。

実験結果

リサーチクエスチョン

• RQ1 顕著な時系列的および空間的分布シフト下において、マルチタスク学習が交通予測のドメイン適応を効果的に可能にするか？
• RQ2 複数の都市および年から得たデータを共同で学習する方法と、個々の都市や時間帯ごとに学習する方法とを比較すると、どのような差が生じるか？
• RQ3 標準的なドメイン適応ベースラインと比較して、マルチタスク学習は未観測の都市やパンデミック後の交通パターンへの一般化性能をどのように向上させるか？
• RQ4 同じ都市で類似した時間帯（例：2020年 vs. 2020年の検証用データ）のデータを用いることで、モデル性能はどの程度向上するか？
• RQ5 適切な正則化を施したマルチタスク学習を用いる場合、より複雑なアーキテクチャ（例：Graph ResNet）よりも単純なモデル（例：U-Net）が優れた性能を発揮できるか？

主な発見

• マルチタスク学習アプローチは、NeurIPS 2021 Traffic4cast延長コンペティション（空間時系列的ドメイン適応）で2位を獲得し、スコアボード上では59.586のスコアを記録。優勝チームに僅か0.05%の差で迫った。
• 以前にSOTA性能を達成したGraph ResNetベースラインを上回った。これは、アーキテクチャの単純さとマルチタスク学習の組み合わせが、より効果的である可能性を示している。
• 同じ都市（例：バンコク2019年）のデータを学習に用いることは、複数の都市からのデータ収集よりも有益であった。これは、分布の類似性の重要性を示している。
• バルセロナの2019年および2020年データを統合して学習した場合、3都市分の2019年または2020年データを個別に使用するよりも優れた性能を発揮した。これは、マルチタスク学習が時系列的ドメイン適応を強化していることを示している。
• 全都市および時間帯にわたる1つのモデルを学習するだけで、最小限の計算コストで優れた性能を達成した。
• 結果から、マルチタスク学習がドメイン間で不変な特徴を学習するよう促すことで、暗黙的かつ効果的にドメイン適応を実現している可能性が示唆された。