[논문 리뷰] MobTCast: Leveraging Auxiliary Trajectory Forecasting for Human Mobility Prediction

Hao Xue, Flora D. Salim외 2명|arXiv (Cornell University)|2021. 09. 30.

Human Mobility and Location-Based Analysis참고 문헌 28인용 수 36

한 줄 요약

MobTCast는 POI 예측을 위한 Transformer 기반의 맥락 인식 모델로, 정확도 향상을 위해 일관성 손실이 있는 보조 궤적 예측 task를 통해 시간적, 의미적, 사회적, 지리적 맥락을 통합합니다.

ABSTRACT

Human mobility prediction is a core functionality in many location-based services and applications. However, due to the sparsity of mobility data, it is not an easy task to predict future POIs (place-of-interests) that are going to be visited. In this paper, we propose MobTCast, a Transformer-based context-aware network for mobility prediction. Specifically, we explore the influence of four types of context in the mobility prediction: temporal, semantic, social and geographical contexts. We first design a base mobility feature extractor using the Transformer architecture, which takes both the history POI sequence and the semantic information as input. It handles both the temporal and semantic contexts. Based on the base extractor and the social connections of a user, we employ a self-attention module to model the influence of the social context. Furthermore, unlike existing methods, we introduce a location prediction branch in MobTCast as an auxiliary task to model the geographical context and predict the next location. Intuitively, the geographical distance between the location of the predicted POI and the predicted location from the auxiliary branch should be as close as possible. To reflect this relation, we design a consistency loss to further improve the POI prediction performance. In our experimental results, MobTCast outperforms other state-of-the-art next POI prediction methods. Our approach illustrates the value of including different types of context in next POI prediction.

연구 동기 및 목표

• 다양한 맥락 신호를 활용하여 다음 POI 예측의 희소성 문제를 동기 부여하고 해결한다.
• 의미 맥락을 통합하는 Transformer 기반 이동성 특징 추출기를 제안한다.
• 인접한 사용자들에 대한 자기-주목(self-attention) 모듈을 통해 사회적 영향력을 모델링한다.
• 지리적 맥락을 직접 모델링하기 위해 보조 궤적 예측 task를 도입한다.
• 주 POI 예측과 보조 위치 예측을 연결하기 위한 일관성 손실을 정의한다.

제안 방법

• 의미 인식 모빌리티 특징 추출기는 POI, 의미 카테고리, 타임스탬프 임베딩을 Transformer를 통해 사용하여 의미가 풍부한 이력 표현을 생성한다.
• 사회 맥락 추출기는 다중-헤드 자기 주의(multi-head self-attention)를 통해 자신의 이력 특징을 이웃과 결합하여 사회적 영향을 모델링한다.
• 보조 궤적 예측은 임베딩된 과거 좌표에 대해 별도의 Transformer를 사용하여 미래 좌표를 예측하고 지리적 맥락을 포착한다.
• 일관성 손실은 추정된 POI 위치와 보조 예측 위치 간의 거리를 최소화하여 POI 예측 출력과 보조 좌표 예측을 맞춥니다.
• 세 가지 손실(POI 교차 엔트로피, 궤적 회귀, 일관성 손실)을 가중 합으로 결합하여 MobTCast를 학습한다.
• 본 접근법은 POI 확률 분포와 다음 위치 추정값을 공동으로 생성하며 공유된 맥락 표현으로 연결된다.

실험 결과

연구 질문

• RQ1 다수의 맥락(시간적, 의미적, 사회적, 지리적)을 어떻게 통합하여 다음 POI 예측을 향상시킬 수 있는가?
• RQ2 일관성 손실이 있는 보조 궤적 예측 작업을 추가하는 것이 POI 예측 성능을 향상시키는가?
• RQ3 명시적 사회 연결이 없을 때 체크인 데이터로 사회적 연결을 효과적으로 추론할 수 있는가?
• RQ4 각 맥락 구성 요소와 보조 작업이 데이터셋 전반의 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• MobTCast는 세 가지 실제 데이터셋에서 다수의 기준선과 비교하여 최첨단 성능을 달성한다.
• 의미적, 사회적, 지리적 맥락을 통합하는 것이 맥락 무시 모델 및 단일 맥락 모델에 비해 눈에 띄는 개선을 가져온다.
• 지리적 맥락을 활용하여 보조 궤적 예측 작업과 일관성 손실이 POI 예측을 개선하는 데 기여한다.
• 절단 연구는 POI 예측, 궤적 예측, 일관성의 세 손실을 모두 결합하는 것이 가장 좋은 성능을 보임을 시사한다.
• MobTCast는 체크인 패턴으로 이웃을 도출해 명시적 사회 링크가 없는 데이터셋에도 일반화할 수 있다.