[论文解读] AttnMove: History Enhanced Trajectory Recovery via Attentional Network

Xia Tong, Yunhan Qi+5 more|arXiv (Cornell University)|Jan 3, 2021

Human Mobility and Location-Based Analysis参考文献 26被引用 4

一句话总结

AttnMove 提出了一种基于 Transformer 的注意力网络，通过利用轨迹内注意力捕捉局部移动模式，并通过轨迹间注意力挖掘长期历史周期性，从而从稀疏的移动数据中恢复细粒度轨迹。在真实世界数据集上的评估表明，该方法在轨迹恢复准确率方面优于当前最先进方法，能够有效建模稀疏性和周期性行为。

ABSTRACT

A considerable amount of mobility data has been accumulated due to the proliferation of location-based service. Nevertheless, compared with mobility data from transportation systems like the GPS module in taxis, this kind of data is commonly sparse in terms of individual trajectories in the sense that users do not access mobile services and contribute their data all the time. Consequently, the sparsity inevitably weakens the practical value of the data even it has a high user penetration rate. To solve this problem, we propose a novel attentional neural network-based model, named AttnMove, to densify individual trajectories by recovering unobserved locations at a fine-grained spatial-temporal resolution. To tackle the challenges posed by sparsity, we design various intra- and inter- trajectory attention mechanisms to better model the mobility regularity of users and fully exploit the periodical pattern from long-term history. We evaluate our model on two real-world datasets, and extensive results demonstrate the performance gain compared with the state-of-the-art methods. This also shows that, by providing high-quality mobility data, our model can benefit a variety of mobility-oriented down-stream applications.

研究动机与目标

• 为解决基于位置服务中稀疏且采样不规则的移动轨迹所面临的挑战。
• 通过建模长期历史中的轨迹内移动规律性和轨迹间周期性模式，提升轨迹恢复性能。
• 克服 RNN 和基于序列的模型在处理稀疏、非序列轨迹数据时的局限性。
• 设计一种统一的注意力机制，同时捕捉时空依赖性和历史周期性。
• 为下游移动应用实现高精度、细粒度的轨迹插补。

提出的方法

• 该模型采用轨迹内注意力机制，通过平等关注所有已观测位置（无论时间顺序如何），对单条稀疏目标轨迹中的移动规律进行建模。
• 引入轨迹间注意力机制，对齐并融合多条历史轨迹的模式，提取如通勤周期等周期性行为。
• 通过将长期历史数据表示为每日移动模式的序列，实现长期历史数据的整合，使模型能够学习重复出现的时空行为。
• 采用多头注意力架构，捕捉时间与空间上的复杂依赖关系，替代 RNN 以更好地处理长序列和稀疏序列。
• 采用端到端训练方式，使用重建损失最小化预测位置与真实位置在未观测时间戳处的差异。
• 通过调整嵌入维度、注意力头数量和网络深度等超参数，优化模型性能。

实验结果

研究问题

• RQ1 基于注意力的模型能否在传统 RNN 失效的高度稀疏移动数据中，有效恢复细粒度轨迹？
• RQ2 如何有效提炼长期历史移动模式，以在稀疏场景中提升轨迹恢复性能？
• RQ3 通过跨多用户的周期性行为建模，轨迹间注意力在多大程度上提升了恢复性能？
• RQ4 在处理无序、稀疏轨迹数据时，轨迹内注意力能否优于序列化建模方法？
• RQ5 将轨迹内与轨迹间注意力机制联合集成，与现有最先进轨迹恢复方法相比表现如何？

主要发现

• AttnMove 在两个真实世界移动数据集上的轨迹恢复准确率方面，显著优于现有最先进方法。
• 在传统 RNN 或平滑滤波方法性能急剧下降的稀疏场景中，该模型实现了显著的性能提升。
• 消融实验确认，轨迹内注意力与轨迹间注意力机制均对整体性能有显著贡献。
• 通过轨迹间注意力利用长期历史数据，使模型能够捕捉如每日通勤路线等周期性移动模式。
• 该模型对高稀疏性具有鲁棒性，通过关注所有已观测点，有效降低了缺失位置预测的不确定性。
• 超参数调优表明，8 个注意力头和特定嵌入维度可实现最优性能，表明模型对网络架构设计较为敏感。