[논문 리뷰] Where Would I Go Next? Large Language Models as Human Mobility Predictors

Xinglei Wang, Meng Fang외 2명|arXiv (Cornell University)|2023. 08. 29.

Human Mobility and Location-Based Analysis인용 수 16

한 줄 요약

논문은 데이터 포맷팅과 맥락 포함 프롬프트를 활용한 대형 언어 모델(LLM-Mob)을 소개합니다. 이를 통해 인간 움직임에서 다음 위치를 예측하며 두 공공 데이터셋에서 최첨단 성과를 거두고 해석 가능한 예측을 제공합니다.

ABSTRACT

Accurate human mobility prediction underpins many important applications across a variety of domains, including epidemic modelling, transport planning, and emergency responses. Due to the sparsity of mobility data and the stochastic nature of people's daily activities, achieving precise predictions of people's locations remains a challenge. While recently developed large language models (LLMs) have demonstrated superior performance across numerous language-related tasks, their applicability to human mobility studies remains unexplored. Addressing this gap, this article delves into the potential of LLMs for human mobility prediction tasks. We introduce a novel method, LLM-Mob, which leverages the language understanding and reasoning capabilities of LLMs for analysing human mobility data. We present concepts of historical stays and context stays to capture both long-term and short-term dependencies in human movement and enable time-aware prediction by using time information of the prediction target. Additionally, we design context-inclusive prompts that enable LLMs to generate more accurate predictions. Comprehensive evaluations of our method reveal that LLM-Mob excels in providing accurate and interpretable predictions, highlighting the untapped potential of LLMs in advancing human mobility prediction techniques. We posit that our research marks a significant paradigm shift in human mobility modelling, transitioning from building complex domain-specific models to harnessing general-purpose LLMs that yield accurate predictions through language instructions. The code for this work is available at https://github.com/xlwang233/LLM-Mob.

연구 동기 및 목표

• 대학 인간 이동성 예측에 대한 대형 언어 모델의 사용을 동기부여하고 이동 패턴의 데이터 희소성과 확률적 특성을 다룬다.
• 長문/短문 종속성을 포착하기 위한 구조화된 데이터 포맷팅 체계(역사적 체류, 맥락 체류)를 제안한다.
• 맥락 포함 프롬프트를 설계하여 LLM이 시간 인식적 다음 위치 예측을 수행하고 설명을 제공하도록 한다.

제안 방법

• 이동궤적을 역사적 체류와 맥락 체류로 포맷하여 장기 및 단기 의존성을 포착한다.
• 대상 체류 시간 정보를 포함하여 시간 인식 예측을 가능하게 한다.
• 데이터를 설명하고 reasoning을 안내하며 예측과 함께 설명을 요청하는 맥락 포함 프롬프트를 개발한다.
• 정해진 온도로 GPT-3.5를 사용하여 top-k 다음 위치 예측과 이유를 생성한다.
• 두 공공 데이터셋(Geolife와 FSQ-NYC)에서 Acc@1, Acc@5, Acc@10, Weighted F1, 및 nDCG@10으로 예측을 평가한다.

실험 결과

연구 질문

• RQ1 형식화된 이동 데이터를 입력하고 적절한 프롬프트를 통해 LLM이 전통적 모델보다 다음 위치를 더 정확하게 예측할 수 있는가?
• RQ2 장기 이력, 단기 맥락, 대상 시간 정보의 포함이 LLM 기반 이동 예측을 개선하는가?
• RQ3 이동 예측에 대한 LLM 생성 설명의 해석 가능성은 어떠한가?
• RQ4 LLM을 사용한 이동 예측의 한계(예: 환각, 효율성)는 무엇인가?
• RQ5 프롬프트, 온도, 다른 LLM으로의 적용에서 결과의 강건성은 어떤가?

주요 결과

• LLM-Mob은 Geolife 및 FSQ-NYC 데이터셋에서 Acc@1, Acc@5, Acc@10, Weighted F1, 및 nDCG@10에서 고전적 및 다수의 심층 학습 기반 모델을 능가한다.
• 대상 시간 정보(w t)를 포함하면 대상 시간 정보가 없는 모델(wot)보다 성능이 향상된다.
• 히스토리 정보, 맥락 정보 및 대상 시간 정보를 모두 제공한 구성이 테스트된 설정 중 가장 높은 예측 정확도를 보여준다.
• 특정 연구에서 과거 이력을 제거하면 맥락 체류나 대상 시간 정보를 제거하는 것보다 더 큰 부정적 영향을 미치는 것으로 나타나 장기 의존성을 강조한다.
• LLM-Mob은 예측과 함께 추론/설명을 반환하여 해석 가능한 예측을 제공하지만, 환각이나 다른 한계가 있을 수 있다.
• 강건성 테스트는 비제로 온도, 프롬프트 변형 및 다른 LLM 사용에서도 성능의 안정성을 시사하지만 실제 배포에는 주의가 필요하다.