[论文解读] Mobility-LLM: Learning Visiting Intentions and Travel Preferences from Human Mobility Data with Large Language Models

Lu Gong, Yan Lin+7 more|arXiv (Cornell University)|Oct 28, 2024

Human Mobility and Location-Based Analysis被引用 2

一句话总结

Mobility-LLM 提出了一种新颖的框架，利用大语言模型（LLMs）从人类签到序列中提取语义含义，通过访问意图记忆网络（VIMN）和共享的人类出行偏好提示池（HTPP）来建模用户意图与偏好。该方法在四个基准数据集上的位置预测、轨迹用户关联和时间预测任务中实现了最先进或具有竞争力的性能，跨域预训练的平均提升达17.8%，少样本场景下的提升最高达38.3%。

ABSTRACT

Location-based services (LBS) have accumulated extensive human mobility data on diverse behaviors through check-in sequences. These sequences offer valuable insights into users' intentions and preferences. Yet, existing models analyzing check-in sequences fail to consider the semantics contained in these sequences, which closely reflect human visiting intentions and travel preferences, leading to an incomplete comprehension. Drawing inspiration from the exceptional semantic understanding and contextual information processing capabilities of large language models (LLMs) across various domains, we present Mobility-LLM, a novel framework that leverages LLMs to analyze check-in sequences for multiple tasks. Since LLMs cannot directly interpret check-ins, we reprogram these sequences to help LLMs comprehensively understand the semantics of human visiting intentions and travel preferences. Specifically, we introduce a visiting intention memory network (VIMN) to capture the visiting intentions at each record, along with a shared pool of human travel preference prompts (HTPP) to guide the LLM in understanding users' travel preferences. These components enhance the model's ability to extract and leverage semantic information from human mobility data effectively. Extensive experiments on four benchmark datasets and three downstream tasks demonstrate that our approach significantly outperforms existing models, underscoring the effectiveness of Mobility-LLM in advancing our understanding of human mobility data within LBS contexts.

研究动机与目标

• 为解决现有模型在捕捉签到序列中语义含义方面的局限性，这些签到序列反映了人类的访问意图与出行偏好。
• 使大语言模型（LLMs）能够有效理解并推理原始签到序列，这些序列本身并非大语言模型天然可解释的语义内容。
• 开发一个统一框架，以增强大语言模型在多个任务中对人类移动行为的建模能力，包括位置预测、时间预测和轨迹用户关联。
• 通过结构化的语义提示与记忆机制，提升移动建模中的跨域泛化能力与少样本性能。
• 通过联合建模短期访问意图与长期出行偏好，提供对人类移动行为的全面理解。

提出的方法

• 将原始签到序列重编程为语义丰富的文本提示，使其可被预训练的大语言模型理解。
• 引入访问意图记忆网络（VIMN），通过动态关注相关的历史签到，以建模近期的行为规律。
• 在多个领域中设计共享的人类出行偏好提示池（HTPP），以捕捉稳定、长期的用户偏好。
• 利用 VIMN 和 HTPP 组件对预训练大语言模型进行微调，以在重构后的签到序列上生成上下文感知的表征。
• 将编码后的序列表征用于下游任务，如下一个位置预测、时间预测和轨迹用户关联。
• 应用跨域预训练与少样本微调，以增强泛化能力及零样本/少样本性能。

实验结果

研究问题

• RQ1 大语言模型能否有效从原始签到序列中学习并推理人类的访问意图？
• RQ2 如何弥合非结构化签到序列与大语言模型上下文理解能力之间的语义鸿沟？
• RQ3 基于大语言模型的统一框架在多个移动预测任务中，相较于任务专用模型，能多大程度上实现性能超越？
• RQ4 结构化的出行偏好提示与记忆机制在建模长期用户偏好方面有何改进作用？
• RQ5 在人类移动建模中，通过跨域预训练与少样本微调可实现多大程度的性能增益？

主要发现

• Mobility-LLM 在三项主要签到序列任务（位置预测、时间预测、轨迹用户关联）中均实现了最先进或具有竞争力的性能。
• 该模型在基准数据集上的跨域预训练中实现了平均17.8%的性能提升。
• 在少样本场景下，与现有基线相比，模型性能提升范围在23.6%至38.3%之间。
• 访问意图记忆网络（VIMN）显著增强了模型捕捉签到序列中短期行为规律的能力。
• 共享的人类出行偏好提示池（HTPP）实现了用户偏好的跨域有效理解，提升了泛化能力。
• 在四个基准数据集上的大量实验验证了所提框架的鲁棒性与泛化能力。