[论文解读] Learning to Transfer for Traffic Forecasting via Multi-task Learning

Yichao Lu|arXiv (Cornell University)|Nov 27, 2021

Traffic Prediction and Management Techniques参考文献 51被引用 4

一句话总结

该论文提出了一种多任务学习框架，使深度学习模型能够适应交通预测中的时间与时空域偏移，采用在不同城市和时间周期数据上联合训练的U-Net架构。该方法在NeurIPS 2021 Traffic4cast挑战赛中取得SOTA性能，在扩展赛中排名第二，且计算开销极低。

ABSTRACT

Deep neural networks have demonstrated superior performance in short-term traffic forecasting. However, most existing traffic forecasting systems assume that the training and testing data are drawn from the same underlying distribution, which limits their practical applicability. The NeurIPS 2021 Traffic4cast challenge is the first of its kind dedicated to benchmarking the robustness of traffic forecasting models towards domain shifts in space and time. This technical report describes our solution to this challenge. In particular, we present a multi-task learning framework for temporal and spatio-temporal domain adaptation of traffic forecasting models. Experimental results demonstrate that our multi-task learning approach achieves strong empirical performance, outperforming a number of baseline domain adaptation methods, while remaining highly efficient. The source code for this technical report is available at https://github.com/YichaoLu/Traffic4cast2021.

研究动机与目标

• 为解决交通预测中的域偏移挑战，特别是由于时间变化（如疫情导致）和空间偏移（新城市）引起的问题。
• 开发一种可迁移且鲁棒的预测模型，使其在不同城市和时间周期间具备泛化能力。
• 在无需为每个城市或时间周期进行特定任务微调的情况下，提升模型在分布偏移下的性能。
• 证明多任务学习可通过在多样化数据上联合训练，隐式实现域自适应。

提出的方法

• 基于U-Net的深度神经网络在来自多个城市和时间周期（2019年和2020年）的交通流量数据上，通过多任务学习进行训练。
• 在所有源域（城市和年份）上联合优化，以学习在分布偏移下具有泛化能力的共享表征。
• 训练设置采用端到端学习，使用单一模型处理所有城市和时间周期，避免为每个城市单独拟合模型。
• 应用早停策略以防止过拟合，尤其是在数据量较少的情况下。
• 该方法将时空数据视为类似视频的序列，利用2D卷积建模空间和时间依赖性。
• 在推理阶段使用模型集成，以进一步提升排行榜表现。

实验结果

研究问题

• RQ1 在显著的时间与空间分布偏移下，多任务学习能否有效实现交通预测中的域自适应？
• RQ2 在多个城市和年份的数据上进行联合训练，与在单个城市或时间周期上训练相比有何差异？
• RQ3 与标准的域自适应基线相比，多任务学习是否能提升对未见城市和后疫情时期交通模式的泛化能力？
• RQ4 来自同一城市且时间相近的数据（如2020年与2020年验证集）在多大程度上能提升模型性能？
• RQ5 当结合适当的正则化时，U-Net这类更简单的模型是否能超越更复杂的架构（如Graph ResNet）？

主要发现

• 该多任务学习方法在NeurIPS 2021 Traffic4cast扩展赛（时空域自适应）中获得第二名，排行榜得分为59.586，仅比第一名低0.05%。
• 该方法优于此前取得SOTA性能的Graph ResNet基线，表明架构简洁性与多任务学习结合可更有效。
• 在相同城市（如曼谷2019年）的数据上进行训练比收集多个城市的数据更具优势，凸显了分布相似性的重要性。
• 将巴塞罗那市2019年和2020年的数据结合使用，优于使用三个城市的2019年或2020年数据，表明多任务学习显著增强了时间域自适应能力。
• 该模型以极低的计算成本实现了强劲性能，因为仅需训练一个模型即可覆盖所有城市和时间周期。
• 结果表明，多任务学习通过鼓励模型学习跨域的不变特征，隐式实现了域自适应。