[論文レビュー] Where Would I Go Next? Large Language Models as Human Mobility Predictors

Xinglei Wang, Meng Fang+2 more|arXiv (Cornell University)|Aug 29, 2023

Human Mobility and Location-Based Analysis被引用数 16

ひとこと要約

この論文は LLM-Mob を紹介する。データ整形と文脈を含むプロンプトを用いて人の移動における次の場所を予測し、二つの公開データセットで最先端を達成し、解釈可能な予測を提供する。

ABSTRACT

Accurate human mobility prediction underpins many important applications across a variety of domains, including epidemic modelling, transport planning, and emergency responses. Due to the sparsity of mobility data and the stochastic nature of people's daily activities, achieving precise predictions of people's locations remains a challenge. While recently developed large language models (LLMs) have demonstrated superior performance across numerous language-related tasks, their applicability to human mobility studies remains unexplored. Addressing this gap, this article delves into the potential of LLMs for human mobility prediction tasks. We introduce a novel method, LLM-Mob, which leverages the language understanding and reasoning capabilities of LLMs for analysing human mobility data. We present concepts of historical stays and context stays to capture both long-term and short-term dependencies in human movement and enable time-aware prediction by using time information of the prediction target. Additionally, we design context-inclusive prompts that enable LLMs to generate more accurate predictions. Comprehensive evaluations of our method reveal that LLM-Mob excels in providing accurate and interpretable predictions, highlighting the untapped potential of LLMs in advancing human mobility prediction techniques. We posit that our research marks a significant paradigm shift in human mobility modelling, transitioning from building complex domain-specific models to harnessing general-purpose LLMs that yield accurate predictions through language instructions. The code for this work is available at https://github.com/xlwang233/LLM-Mob.

研究の動機と目的

• 人間のモビリティ予測のために大規模言語モデルの利用を動機づけ、モビリティパターンにおけるデータの希薄性と確率性に対処する。
• 長期・短期の依存性を捉えるための構造化データ整形スキーム（historical stays, context stays）を提案する。
• LLM が時刻情報を考慮した次地点予測を実行し、説明を提供できるように、文脈を含むプロンプトを設計する。

提案手法

• 移動軌跡を historical stays および context stays にフォーマットして、長期・短期の依存性を捉える。
• ターゲット滞在時間情報を組み込み、時刻を意識した予測を可能にする。
• データを説明し、推論を導き、予測と共に説明を求める文脈を含むプロンプトを開発する。
• 固定温度の GPT-3.5 を用いて top-k の next-place 予測と理由を生成する。
• Geolife および FSQ-NYC の2つの公開データセットで、Acc@1、Acc@5、Acc@10、Weighted F1、nDCG@10 を用いて予測を評価する。

実験結果

リサーチクエスチョン

• RQ1 適切にプロンプトを付け、整形された移動データを与えられた場合、LLM は従来のモデルより次の場所をより正確に予測できるだろうか？
• RQ2 長期的な履歴、短期的な文脈、およびターゲット時刻情報を含めることは、LLMベースの移動予測の精度を向上させるのか？
• RQ3 移動予測に対する LLM が生成する説明の解釈可能性はどの程度か？
• RQ4 移動予測に LLM を使う際の制約（例：幻覚、効率性）とは何か？
• RQ5 プロンプト、温度、別の LLM にわたる結果の頑健性はどの程度か？

主な発見

• LLM-Mob は Geolife および FSQ-NYC データセットで、Acc@1、Acc@5、Acc@10、Weighted F1、nDCG@10 のすべてで古典的手法およびいくつかの深層学習ベースラインを上回る。
• ターゲット時刻情報（w t）を組み込むことで、ターゲット時刻情報（wot）なしのモデルより性能が向上する。
• 履歴、文脈、およびターゲット時刻情報をモデルに提供することで、検証した構成の中で最も高い予測精度を達成する。
• アブレーション研究では、historical stays を削除することが context stays やターゲット時刻情報を削除するより大きな負の影響を与え、長期的依存性を強調している。
• LLM-Mob は推論/説明とともに予測を返すことで解釈可能な予測を提供するが、幻覚などの制約が生じることがある。
• 非ゼロ温度、プロンプトの変動、別の LLM の使用下で性能の安定性を示唆する頑健性テストだが、実運用には留意点がある。