[论文解读] Learning to Remember Patterns: Pattern Matching Memory Networks for Traffic Forecasting

Hyunwook Lee, Seungmin Jin+3 more|arXiv (Cornell University)|Oct 20, 2021

Traffic Prediction and Management Techniques参考文献 18被引用 18

一句话总结

本文提出了一种新型交通预测模型——模式匹配记忆网络（PM-MemNet），将预测任务视为使用键值记忆结构的模式匹配问题。通过提取并聚类代表性交通模式，并采用图卷积记忆网络（GCMem），PM-MemNet在长期及快速变化的交通条件下均实现了最先进性能，优于Graph WaveNet等模型。

ABSTRACT

Traffic forecasting is a challenging problem due to complex road networks and sudden speed changes caused by various events on roads. A number of models have been proposed to solve this challenging problem with a focus on learning spatio-temporal dependencies of roads. In this work, we propose a new perspective of converting the forecasting problem into a pattern matching task, assuming that large data can be represented by a set of patterns. To evaluate the validness of the new perspective, we design a novel traffic forecasting model, called Pattern-Matching Memory Networks (PM-MemNet), which learns to match input data to the representative patterns with a key-value memory structure. We first extract and cluster representative traffic patterns, which serve as keys in the memory. Then via matching the extracted keys and inputs, PM-MemNet acquires necessary information of existing traffic patterns from the memory and uses it for forecasting. To model spatio-temporal correlation of traffic, we proposed novel memory architecture GCMem, which integrates attention and graph convolution for memory enhancement. The experiment results indicate that PM-MemNet is more accurate than state-of-the-art models, such as Graph WaveNet with higher responsiveness. We also present a qualitative analysis result, describing how PM-MemNet works and achieves its higher accuracy when road speed rapidly changes.

研究动机与目标

• 解决在突发变化和复杂时空依赖条件下实现精准交通预测的挑战。
• 探究是否能够通过代表性历史模式将交通预测有效重构为模式匹配任务。
• 设计一种增强记忆的架构，以捕捉道路网络中的时空依赖关系。
• 评估PM-MemNet相较于最先进模型的性能表现，特别是在长期预测和突发变化场景下。
• 研究记忆大小与架构对预测准确率和模型鲁棒性的影响。

提出的方法

• 利用聚类从历史数据中提取代表性交通模式，形成记忆结构中的键空间。
• 提出一种新型图卷积记忆网络（GCMem），通过注意力机制与图卷积结合，建模记忆中的时空相关性。
• 编码器通过堆叠的GCMem层与时间嵌入，实现基于模式记忆的上下文表征生成。
• 解码器采用带有GCMem的门控循环单元（GRU），基于匹配到的模式生成未来的交通状态。
• 使用余弦相似度将输入序列与记忆中最具相关性的代表性模式进行匹配。
• 模型采用端到端训练，损失函数为重构损失，以优化模式匹配与预测准确率。

实验结果

研究问题

• RQ1 是否能够通过学习到的代表性模式记忆，将交通预测有效重构为模式匹配任务？
• RQ2 GCMem中图卷积与注意力机制的结合如何提升交通数据中时空依赖关系的建模能力？
• RQ3 在模型性能与内存效率之间取得平衡时，代表性模式的最优数量是多少？
• RQ4 与现有模型相比，PM-MemNet在突发交通变化下的表现如何？
• RQ5 记忆架构在多大程度上影响长期预测的准确性？

主要发现

• PM-MemNet在METR-LA和NAVER-Seoul数据集上均优于Graph WaveNet及其他最先进模型，尤其在长期预测中表现更优。
• 模型在使用100个代表性模式时表现最佳，表明更大的记忆尺寸并不总是能提升准确率。
• 单层GCMem（PM-MemNet w/L=1）已具备强大性能，显示出模型的鲁棒性及轻量化部署潜力。
• 基于GRU的解码器在长期预测中优于基于CNN的解码器，且RNN解码器的精度高于标准RNN模型。
• 定性分析表明，PM-MemNet对突发速度变化（如高峰时段或交通事故）的响应更快、更准确。
• 消融实验验证了GCMem在建模交通序列长期依赖关系方面的鲁棒性。