[논문 리뷰] AttnMove: History Enhanced Trajectory Recovery via Attentional Network

Xia Tong, Yunhan Qi외 5명|arXiv (Cornell University)|2021. 01. 03.

Human Mobility and Location-Based Analysis참고 문헌 26인용 수 4

한 줄 요약

AttnMove는 내부 궤적 주의(attention)를 통해 국소적 이동 패턴을 모델링하고, 외부 궤적 주의를 통해 장기적 역사적 주기성을 활용하여 희소 이동 데이터에서 세밀한 궤적을 복원하는 트랜스포머 기반 주의 네트워크를 제안한다. 실제 데이터셋에서 평가한 결과, 전방위적 방법들보다 훨씬 높은 궤적 복원 정확도를 확보하여 희소성과 주기적 행동을 효과적으로 모델링한다.

ABSTRACT

A considerable amount of mobility data has been accumulated due to the proliferation of location-based service. Nevertheless, compared with mobility data from transportation systems like the GPS module in taxis, this kind of data is commonly sparse in terms of individual trajectories in the sense that users do not access mobile services and contribute their data all the time. Consequently, the sparsity inevitably weakens the practical value of the data even it has a high user penetration rate. To solve this problem, we propose a novel attentional neural network-based model, named AttnMove, to densify individual trajectories by recovering unobserved locations at a fine-grained spatial-temporal resolution. To tackle the challenges posed by sparsity, we design various intra- and inter- trajectory attention mechanisms to better model the mobility regularity of users and fully exploit the periodical pattern from long-term history. We evaluate our model on two real-world datasets, and extensive results demonstrate the performance gain compared with the state-of-the-art methods. This also shows that, by providing high-quality mobility data, our model can benefit a variety of mobility-oriented down-stream applications.

연구 동기 및 목표

• 위치 기반 서비스에서 희소하고 비정규적으로 샘플링된 궤적 데이터의 과제를 해결하기 위해.
• 장기적 역사 데이터로부터 내부 궤적 이동 정규성과 외부 궤적 주기 패턴을 모두 모델링하여 궤적 복원을 향상시키기 위해.
• 희소하고 비순차적인 궤적 데이터를 처리하는 데에서 RNN 및 시퀀스 기반 모델의 한계를 극복하기 위해.
• 공간-시간적 의존성과 역사적 주기성을 동시에 포착할 수 있는 통합 주의 메커니즘을 설계하기 위해.
• 후속 이동 응용 프로그램을 위한 고정밀도, 세밀한 궤적 보간을 가능하게 하기 위해.

제안 방법

• 모델은 동일한 시간 순서에 관계없이 모든 관측된 위치에 대해 동일하게 주의를 기울임으로써, 희소한 타겟 궤적 내부의 이동 정규성을 모델링하기 위해 내부 궤적 주의 메커니즘을 활용한다.
• 다양한 역사적 궤적의 패턴을 정렬하고 융합하기 위해 외부 궤적 주의 메커니즘을 도입하여 주기적 행동(예: 집-직장 이동 사이클)을 추출한다.
• 장기적 역사 데이터를 일별 이동 패턴의 시퀀스로 표현함으로써 프레임워크가 장기간의 재발성 공간-시간 행동을 학습할 수 있도록 통합한다.
• 다중 헤드 주의 아키텍처를 사용하여 시간과 공간을 넘는 복잡한 의존성을 포착하며, RNN을 대체하여 장거리 및 희소 시퀀스를 더 잘 처리한다.
• 예측된 위치와 실제 위치 사이의 차이를 최소화하기 위해 재구성 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 성능 최적화를 위해 임bedding 크기, 주의 헤드 수, 네트워크 깊이 등의 하이퍼파라미터 튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 기존 RNN이 실패하는 매우 희소한 이동 데이터에서 주의 기반 모델이 세밀한 궤적을 효과적으로 복원할 수 있는가?
• RQ2 장기적 역사적 이동 패턴을 어떻게 효과적으로 압축하여 희소한 상황에서 궤적 복원을 향상시킬 수 있는가?
• RQ3 여러 사용자 간의 주기적 행동을 활용함으로써 외부 궤적 주의가 복원 성능에 얼마나 기여하는가?
• RQ4 순차적 모델링보다 내부 궤적 주의가 비순서적, 희소한 궤적 데이터를 처리하는 데서 더 우수한 성능을 내는가?
• RQ5 내부 및 외부 궤적 주의 메커니즘의 통합은 기존 최첨단 궤적 복원 방법과 비교해 어떻게 성능을 뛰어넘는가?

주요 결과

• AttnMove는 두 개의 실제 이동 데이터셋에서 기존 최첨단 방법들보다 궤적 복원 정확도 측면에서 뚜렷한 성능 향상을 보였다.
• 기존 RNN 기반 또는 스무딩 필터 방법이 급격히 성능 저하를 보이는 희소한 상황에서도 모델이 뚜렷한 성능 향상을 달성했다.
• 제거 실험 결과, 내부 궤적 주의와 외부 궤적 주의 메커니즘이 전체 성능에 기여하는 데 중요한 역할을 한다는 것이 확인되었다.
• 외부 궤적 주의를 통한 장기 역사 데이터 활용으로 모델이 일일 출퇴근 루틴과 같은 주기적 이동 패턴을 포착할 수 있었다.
• 모델은 높은 희소성에 대해 뛰어난 내구성을 보였으며, 모든 관측 지점에 대한 주의를 활용함으로써 누락된 위치 예측의 불확실성을 효과적으로 감소시켰다.
• 하이퍼파라미터 튜닝 결과, 8개의 주의 헤드와 특정 임bedding 크기에서 최적의 성능를 달성하여 아키텍처 설계에 민감함을 보였다.