[논문 리뷰] Mobility-LLM: Learning Visiting Intentions and Travel Preferences from Human Mobility Data with Large Language Models

Lu Gong, Yan Lin외 7명|arXiv (Cornell University)|2024. 10. 28.

Human Mobility and Location-Based Analysis인용 수 2

한 줄 요약

Mobility-LLM는 인간의 체크인 시퀀스에서 의미적 의미를 추출하기 위해 대규모 언어 모델(Large Language Models, LLMs)을 활용하는 혁신적인 프레임워크를 제안한다. 방문 의도 메모리 네트워크(VISITING INTENTIONS MEMORY NETWORK, VIMN)와 공유된 인간 이동 선호도 프롬프트( HUMAN TRAVEL PREFERENCE PROMPTS, HTPP) 풀을 통해 사용자 의도와 선호도를 모델링한다. 이 방법은 네 개의 벤치마크 데이터셋에서 위치 예측, 궤적 사용자 연결, 시간 예측 작업 전반에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하며, 도메인 간 사전학습에서 평균 17.8% 향상, 소수 샘플 시나리오에서는 최대 38.3% 향상을 기록한다.

ABSTRACT

Location-based services (LBS) have accumulated extensive human mobility data on diverse behaviors through check-in sequences. These sequences offer valuable insights into users' intentions and preferences. Yet, existing models analyzing check-in sequences fail to consider the semantics contained in these sequences, which closely reflect human visiting intentions and travel preferences, leading to an incomplete comprehension. Drawing inspiration from the exceptional semantic understanding and contextual information processing capabilities of large language models (LLMs) across various domains, we present Mobility-LLM, a novel framework that leverages LLMs to analyze check-in sequences for multiple tasks. Since LLMs cannot directly interpret check-ins, we reprogram these sequences to help LLMs comprehensively understand the semantics of human visiting intentions and travel preferences. Specifically, we introduce a visiting intention memory network (VIMN) to capture the visiting intentions at each record, along with a shared pool of human travel preference prompts (HTPP) to guide the LLM in understanding users' travel preferences. These components enhance the model's ability to extract and leverage semantic information from human mobility data effectively. Extensive experiments on four benchmark datasets and three downstream tasks demonstrate that our approach significantly outperforms existing models, underscoring the effectiveness of Mobility-LLM in advancing our understanding of human mobility data within LBS contexts.

연구 동기 및 목표

• 기존 모델이 체크인 시퀀스에서 인간의 방문 의도와 이동 선호도를 반영하는 의미적 의미를 포착하는 데 한계가 있음을 해결하기 위해.
• 대규모 언어 모델(Large Language Models, LLMs)이 원시 체크인 시퀀스를 효과적으로 해석하고 추론할 수 있도록 하기 위해, 이는 LLM이 원천적으로 의미적으로 해석할 수 없는 시퀀스이기 때문이다.
• 위치 예측, 시간 예측, 궤적 사용자 연결과 같은 다양한 작업을 포함하여 LLM 기반 인간 이동 모델링을 향상시키는 통합 프레임워크를 개발하기 위해.
• 구조화된 의미 프롬프팅과 메모리 메커니즘을 통해 도메인 간 일반화 능력과 소수 샘플 성능을 향상시키기 위해.
• 단기 방문 의도와 장기 이동 선호도를 동시에 모델링하여 인간 이동에 대한 종합적인 이해를 제공하기 위해.

제안 방법

• 원시 체크인 시퀀스를 의미적으로 풍부한 텍스트 프롬프트로 재프로그래밍하여 사전 훈련된 LLM이 이해할 수 있도록 하기 위해.
• 근접한 행동 정규성을 모델링하기 위해 관련된 과거 체크인에 동적으로 주의를 기울이는 Visiting Intentions Memory Network(VIMN)를 도입하기 위해.
• 다양한 도메인 간 공통으로 사용되는 Human Travel Preference Prompts(HTPP) 풀을 설계하여 안정적인 장기 사용자 선호도를 포착하기 위해.
• VIMN와 HTPP 구성 요소를 사용하여 재구성된 체크인 시퀀스에서 사전 훈련된 LLM을 미세조정하여 맥락 인식 표현을 생성하기 위해.
• 다음 위치 예측, 시간 예측, 궤적 사용자 연결과 같은 후행 작업을 위해 인코딩된 시퀀스 표현을 사용하기 위해.
• 일반화 능력과 제로/소수 샘플 성능 향상을 위해 도메인 간 사전학습 및 소수 샘플 적응을 적용하기 위해.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(Large Language Models)은 원시 체크인 시퀀스에서 인간의 방문 의도를 효과적으로 학습하고 추론할 수 있는가?
• RQ2 비정형 체크인 시퀀스와 LLM의 맥락 이해 능력 사이의 의미적 격차를 어떻게 해소할 수 있는가?
• RQ3 LLM 기반의 통합 프레임워크가 다양한 이동 예측 작업에서 전용 모델보다 얼마나 뛰어난 성능을 낼 수 있는가?
• RQ4 구조화된 이동 선호도 프롬프트와 메모리 메커니즘이 장기 사용자 선호도 모델링에 어떻게 기여하는가?
• RQ5 인간 이동 모델링에서 도메인 간 사전학습과 소수 샘플 적응을 통해 어떤 성과 향상이 달성될 수 있는가?

주요 결과

• Mobility-LLM는 위치 예측, 시간 예측, 궤적 사용자 연결과 같은 세 가지 주요 체크인 시퀀스 작업에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.
• 벤치마크 데이터셋 전반에서 도메인 간 사전학습에서 평균 17.8% 향상을 기록한다.
• 소수 샘플 시나리오에서는 기존 베이스라인 대비 성능 향상이 23.6%에서 38.3%에 이르며, 이는 뚜렷한 성능 향상을 보여준다.
• Visiting Intentions Memory Network(VIMN)는 체크인 시퀀스 내 단기 행동 정규성을 효과적으로 포착할 수 있는 능력을 모델에 크게 향상시킨다.
• 공유된 Human Travel Preference Prompts(HTPP) 풀은 사용자 선호도에 대한 도메인 간 이해를 효과적으로 가능하게 하여 일반화 능력을 향상시킨다.
• 네 개의 벤치마크 데이터셋에서 실시한 광범위한 실험을 통해 제안된 프레임워크의 강건성과 일반화 능력이 확인되었다.