[논문 리뷰] MobilityGPT: Enhanced Human Mobility Modeling with a GPT model

Ammar Haydari, Dongjie Chen외 3명|arXiv (Cornell University)|2024. 02. 05.

Human Mobility and Location-Based Analysis인용 수 4

한 줄 요약

MobilityGPT는 중력 인식 샘플링, 도로 연결성 행렬(RCM) 마스킹, 강화학습 미세조정(RLTF)을 통합하여 궤적의 현실성과 일관성을 향상시키는 GPT 기반의 생성 모델을 제안한다. 궤적 유사도 지표에서 최신 기술 대비 평균 9% 향상되며, 출발지-도착지 패atters, 이동 거리, 공간 분포 측면에서 뛰어난 정밀도를 달성한다.

ABSTRACT

Generative models have shown promising results in capturing human mobility characteristics and generating synthetic trajectories. However, it remains challenging to ensure that the generated geospatial mobility data is semantically realistic, including consistent location sequences, and reflects real-world characteristics, such as constraining on geospatial limits. We reformat human mobility modeling as an autoregressive generation task to address these issues, leveraging the Generative Pre-trained Transformer (GPT) architecture. To ensure its controllable generation to alleviate the above challenges, we propose a geospatially-aware generative model, MobilityGPT. We propose a gravity-based sampling method to train a transformer for semantic sequence similarity. Then, we constrained the training process via a road connectivity matrix that provides the connectivity of sequences in trajectory generation, thereby keeping generated trajectories in geospatial limits. Lastly, we proposed to construct a preference dataset for fine-tuning MobilityGPT via Reinforcement Learning from Trajectory Feedback (RLTF) mechanism, which minimizes the travel distance between training and the synthetically generated trajectories. Experiments on real-world datasets demonstrate MobilityGPT's superior performance over state-of-the-art methods in generating high-quality mobility trajectories that are closest to real data in terms of origin-destination similarity, trip length, travel radius, link, and gravity distributions. We release the source code and reference links to datasets at https://github.com/ammarhydr/MobilityGPT.

연구 동기 및 목표

• 기존 모델이 생성하는 합성 인간 이동 궤적의 의미적 현실성과 지리공간 일관성 부족 문제를 해결한다.
• GAN, VAE, LSTM 등 기존 기법들이 공간-시간 의존성과 궤적 연속성을 유지하는 데 한계를 보이는 문제를 극복한다.
• 실제 위치 순서를 유지하고 도로 네트워크 제약 조건을 준수하는 제어 가능한 GPT 기반 프레임워크를 개발한다.
• 인간 피드백 없이도 자동으로 미세조정하는 궤적 피드백 기반의 자동화된 방법을 활용해 고품질의 합성 궤적 생성을 가능하게 한다.
• 출발지-도착지 쌍, 이동 거리, 중력 분포 등 핵심 이동 지표에서 합성 궤적과 실제 궤적 간의 유사도를 향상시킨다.

제안 방법

• 자기주의 어텐션 메커니즘을 갖춘 GPT 기반 아키텍처를 활용해 인간 이동 모델링을 자동회귀 시퀀스 생성 작업으로 재정의한다.
• 사전학습 단계에서 중력 인식 샘플링을 도입하여 생성된 궤적이 실제 세계의 출발지-도착지 상호작용 패턴과 일치하도록 한다.
• 모델의 로짓에 도로 연결성 행렬(RCM) 마스킹을 적용하여 물리적으로 연결된 도로 세그먼트만 예측하도록 보장함으로써 궤적 연속성을 유지한다.
• 실제 궤적과 합성 궤적 간의 이동 거리 차이를 최소화하는 궤적 피드백 기반 강화학습(RLTF) 미세조정 방법을 개발한다.
• 훈련 및 추론 과정에서 여러 이동 지표에 대해 유사도를 정량적으로 평가하기 위해 젠슨-쇼넬 분산(JSD)을 사용한다.
• 추론 시 온도 스케줄링을 활용해 다양성과 품질의 균형을 조절하며, 높은 온도에서 성능 향상이 나타남을 보였다.

실험 결과

연구 질문

• RQ1 GPT 기반 모델은 의미적으로 현실적이며 공간적으로 일관된 인간 이동 궤적을 생성할 수 있는가?
• RQ2 중력 모델링과 도로 연결성 제약 조건을 통합할 경우 합성 궤적의 현실성이 얼마나 향상되는가?
• RQ3 인간 피드백 없이 강화학습 기반 미세조정이 지도학습 또는 선호도 기반 방법에 비해 궤적 유사도를 얼마나 향상시키는가?
• RQ4 개별 구성 요소(중력 모델, RCM, RLTF)가 MobilityGPT 모델의 전체 성능에 기여하는 정도는 어떠한가?
• RQ5 추론 단계에서의 온도 조정은 생성된 이동 시퀀스의 다양성과 품질을 향상시키는가?

주요 결과

• MobilityGPT는 모든 기준 모델보다 궤적 유사도 지표에서 평균 9% 향상되었으며, 특히 출발지-도착지(OD) 및 이동 거리 유사도에서 가장 높은 향상률을 보였다.
• 전체 MobilityGPT 모델은 OD 유사도에 대해 JSD 0.114, 이동 거리에 대해 JSD 0.124를 기록하여, 추출된 변형 모델들보다 뚜렷이 뛰어난 성능을 보였다.
• 추출 실험 결과, 중력 모델, RCM, RLTF 중 어떤 요소라도 제거할 경우 성능 저하가 발생했으며, 특히 RCM과 중력 모델이 OD 유사도 향상에 가장 기여했다.
• RLTF 미세조정은 지도학습(SF) 및 직접 선호도 최적화(DPO)보다 우수한 성능을 보였으며, OD에 대해 JSD 0.114, 이동 거리에 대해 JSD 0.124를 기록해 최저 수준을 달성했다.
• 추론 시 높은 온도 설정이 성능 향상에 기여함을 확인하여, 통제된 무작위성의 증가가 생성된 궤적의 다양성과 현실성 향상에 기여함을 시사했다.
• 포르투에서 생성된 궤적의 공간 밀도 지도를 분석한 결과, MobilityGPT는 실제 공간 패턴을 뛰어나게 잘 재현했으며, 시각적 및 통계적 유사도 측면에서 다른 모델들을 압도했다.