[論文レビュー] Mobility-LLM: Learning Visiting Intentions and Travel Preferences from Human Mobility Data with Large Language Models

Lu Gong, Yan Lin+7 more|arXiv (Cornell University)|Oct 28, 2024

Human Mobility and Location-Based Analysis被引用数 2

ひとこと要約

Mobility-LLMは、大規模言語モデル（LLMs）を活用して人間のチェックイン履歴から意味的意味を抽出する画期的なフレームワークを提案する。Visiting Intentions Memory Network（VIMN）と共有されたHuman Travel Preference Prompts（HTPP）のプールを用いて、ユーザーの意図と好みをモデル化する。本手法は、4つのベンチマークデータセットにおいて、場所予測、トラジェクトリーユーザーリンク、時刻予測の各タスクで最先端または競争力のある性能を達成しており、クロスドメイン事前学習では平均17.8%の向上、少サンプル状況では最大38.3%の向上を示した。

ABSTRACT

Location-based services (LBS) have accumulated extensive human mobility data on diverse behaviors through check-in sequences. These sequences offer valuable insights into users' intentions and preferences. Yet, existing models analyzing check-in sequences fail to consider the semantics contained in these sequences, which closely reflect human visiting intentions and travel preferences, leading to an incomplete comprehension. Drawing inspiration from the exceptional semantic understanding and contextual information processing capabilities of large language models (LLMs) across various domains, we present Mobility-LLM, a novel framework that leverages LLMs to analyze check-in sequences for multiple tasks. Since LLMs cannot directly interpret check-ins, we reprogram these sequences to help LLMs comprehensively understand the semantics of human visiting intentions and travel preferences. Specifically, we introduce a visiting intention memory network (VIMN) to capture the visiting intentions at each record, along with a shared pool of human travel preference prompts (HTPP) to guide the LLM in understanding users' travel preferences. These components enhance the model's ability to extract and leverage semantic information from human mobility data effectively. Extensive experiments on four benchmark datasets and three downstream tasks demonstrate that our approach significantly outperforms existing models, underscoring the effectiveness of Mobility-LLM in advancing our understanding of human mobility data within LBS contexts.

研究の動機と目的

• チェックイン履歴が示す人間の訪問意図や移動好みの意味的意味を捉えることに限界を示す既存のモデルを改善すること。
• 大規模言語モデル（LLMs）が、本来意味的に解釈できない生のチェックイン履歴を効果的に解釈・推論できるようにすること。
• 場所予測、時刻予測、トラジェクトリーユーザーリンクなどの複数のタスクにおいて、LLMベースの人の移動モデルを統合的に向上させるフレームワークの構築。
• 構造化された意味的プロンプトとメモリ機構を用いて、クロスドメイン一般化および少サンプル性能を向上させることで、移動モデルの一般化能力を強化すること。
• 短期的な訪問意図と長期的な移動好みを同時にモデル化することで、人の移動行動の包括的かつ包括的な理解を図ること。

提案手法

• 生のチェックイン履歴を意味的に豊かになったテキストプロンプトに再プログラミングし、事前学習済みLLMsが解釈できるようにすること。
• 近い将来の行動の規則性を的確に捉えるために、関連する過去のチェックインに動的に注目するVisiting Intentions Memory Network（VIMN）を導入すること。
• 複数のドメインにまたがる共有されたHuman Travel Preference Prompts（HTPP）のプールを設計し、安定した長期的ユーザー好みを捉えること。
• VIMNおよびHTPPコンponentsを用いて、再構成されたチェックイン履歴上で事前学習済みLLMを微調整し、文脈に適した表現を生成すること。
• 下流タスク（次回の場所予測、時刻予測、トラジェクトリーユーザーリンクなど）に使用するための符号化済みシーケンス表現を用いること。
• 一般化能力およびゼロ/少サンプル性能を向上させるために、クロスドメイン事前学習と少サンプル適応を適用すること。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、生のチェックイン履歴から人間の訪問意図を効果的に学習・推論できるか？
• RQ2 非構造的なチェックイン履歴とLLMsの文脈的理解能力の間の意味的ギャップをどのように埋め合わせられるか？
• RQ3 LLMに基づく統合フレームワークが、複数の移動予測タスクにおいて、タスク特化型モデルを上回る性能を発揮する程度はどの程度か？
• RQ4 構造化された旅行好みプロンプトとメモリ機構は、長期的ユーザー好みのモデル化をどのように向上させるか？
• RQ5 人間の移動モデルにおいて、クロスドメイン事前学習と少サンプル適応によって得られる利点は何か？

主な発見

• Mobility-LLMは、場所予測、時刻予測、トラジェクトリーユーザーリンクという3つの主要なチェックインシーケンスタスクにおいて、最先端または競争力のある性能を達成した。
• ベンチマークデータセット全体で、クロスドメイン事前学習において平均17.8%の向上を示した。
• 少サンプル状況では、既存のベースラインと比較して23.6%から38.3%の性能向上を達成した。
• Visiting Intentions Memory Network（VIMN）は、チェックインシーケンス内の短期的行動規則性を捉える能力を顕著に向上させた。
• 共有されたHuman Travel Preference Prompts（HTPP）のプールにより、ユーザー好みのドメイン間理解が効果的に可能となり、一般化性能が向上した。
• 4つのベンチマークデータセットを用いた広範な実験により、提案フレームワークの頑健性と一般化能力が確認された。