[论文解读] MobilityGPT: Enhanced Human Mobility Modeling with a GPT model

Ammar Haydari, Dongjie Chen+3 more|arXiv (Cornell University)|Feb 5, 2024

Human Mobility and Location-Based Analysis被引用 4

一句话总结

MobilityGPT 提出了一种基于 GPT 的生成模型，用于人类出行行为建模，通过引入重力感知采样、道路连通性矩阵（RCM）掩码和强化学习微调（RLTF），提升了轨迹的真实性。该模型在轨迹相似性度量上平均优于最先进方法 9%，在起点-终点模式、行程长度和空间分布方面实现了更高的保真度。

ABSTRACT

Generative models have shown promising results in capturing human mobility characteristics and generating synthetic trajectories. However, it remains challenging to ensure that the generated geospatial mobility data is semantically realistic, including consistent location sequences, and reflects real-world characteristics, such as constraining on geospatial limits. We reformat human mobility modeling as an autoregressive generation task to address these issues, leveraging the Generative Pre-trained Transformer (GPT) architecture. To ensure its controllable generation to alleviate the above challenges, we propose a geospatially-aware generative model, MobilityGPT. We propose a gravity-based sampling method to train a transformer for semantic sequence similarity. Then, we constrained the training process via a road connectivity matrix that provides the connectivity of sequences in trajectory generation, thereby keeping generated trajectories in geospatial limits. Lastly, we proposed to construct a preference dataset for fine-tuning MobilityGPT via Reinforcement Learning from Trajectory Feedback (RLTF) mechanism, which minimizes the travel distance between training and the synthetically generated trajectories. Experiments on real-world datasets demonstrate MobilityGPT's superior performance over state-of-the-art methods in generating high-quality mobility trajectories that are closest to real data in terms of origin-destination similarity, trip length, travel radius, link, and gravity distributions. We release the source code and reference links to datasets at https://github.com/ammarhydr/MobilityGPT.

研究动机与目标

• 解决现有模型生成的合成人类出行轨迹中语义真实性和地理空间一致性不足的问题。
• 克服 GAN、VAE 和 LSTM 在保持时空依赖性和轨迹连续性方面的局限性。
• 开发一种可控的、基于 GPT 的框架，以保持真实的位置序列并遵循道路网络约束。
• 在无需人工反馈的情况下实现高质量的合成轨迹生成，通过轨迹反馈实现自动微调。
• 在起点-终点对、行程长度和重力分布等关键出行指标上，提升合成轨迹与真实轨迹之间的相似性。

提出的方法

• 将人类出行建模重新定义为基于 GPT 主干网络与自注意力机制的自回归序列生成任务。
• 在预训练阶段引入重力感知采样，使生成的轨迹与真实世界中的起点-终点交互模式对齐。
• 对模型的 logits 应用道路连通性矩阵（RCM）掩码，确保仅预测物理上连接的道路路段，从而保持轨迹连续性。
• 开发一种基于轨迹反馈的强化学习微调（RLTF）方法，最小化真实轨迹与合成轨迹之间的行程距离差异。
• 在训练和推理过程中，使用 Jensen-Shannon 散度（JSD）定量评估多个出行指标的相似性。
• 在推理阶段引入温度调度，以平衡多样性与质量，发现在较高温度下性能更优。

实验结果

研究问题

• RQ1 基于 GPT 的模型能否生成在语义上真实且空间上一致的人类出行轨迹？
• RQ2 整合重力建模与道路连通性约束在多大程度上提升了合成轨迹的真实性？
• RQ3 在无需人工反馈的情况下，基于强化学习的微调相较于监督微调或偏好优化方法，在多大程度上提升了轨迹相似性？
• RQ4 各个组件（重力模型、RCM、RLTF）对 MobilityGPT 模型整体性能的贡献如何？
• RQ5 推理阶段的温度调节是否能提升生成出行序列的多样性与质量？

主要发现

• MobilityGPT 在各项轨迹相似性度量上平均优于所有基线模型 9%，在起点-终点（OD）和行程长度相似性方面提升最为显著。
• 完整版 MobilityGPT 模型在 OD 相似性上的 JSD 为 0.114，在行程长度上的 JSD 为 0.124，显著优于消融变体。
• 消融实验表明，移除任意一个核心组件（重力模型、RCM 或 RLTF）均导致性能明显下降，其中 RCM 和重力模型对 OD 相似性贡献最大。
• RLTF 微调优于监督微调（SF）和直接偏好优化（DPO），在 OD 相似性上达到最低 JSD（0.114），在行程长度上也达到最低 JSD（0.124）。
• 推理阶段采用更高温度设置可提升性能，表明受控的随机性有助于增强生成轨迹的多样性和真实性。
• 波尔图地区生成轨迹的空间密度图显示，MobilityGPT 能够紧密复现真实世界的空间模式，在视觉和统计相似性上优于其他模型。