[논문 리뷰] Traj2User: exploiting embeddings for computing similarity of users mobile behavior

Andrea Esuli, Lucas May Petry외 2명|arXiv (Cornell University)|2018. 07. 31.

Human Mobility and Location-Based Analysis참고 문헌 8인용 수 4

한 줄 요약

Traj2User는 의미적으로 풍부한 궤적에서 유저 임베딩을 생성하기 위해 Word2Vec을 영감으로 삼은 방법을 제안하며, 신경망 학습을 통해 유사도를 암묵적으로 학습한다. 사용자 유사도 작업에서 기준 방법 대비 평균 역수 순위(MRR)에서 14.7% 향상되어, 다양한 이동 패턴의 의미를 명시적인 유사도 함수 설계 없이 효과적으로 모델링함을 입증한다.

ABSTRACT

Semantic trajectories are high level representations of user movements where several aspects related to the movement context are represented as heterogeneous textual labels. With the objective of finding a meaningful similarity measure for semantically enriched trajectories, we propose Traj2User, a Word2Vec-inspired method for the generation of a vector representation of user movements as user embeddings. Traj2User uses simple representations of trajectories and delegates the definition of the similarity model to the learning process of the network. Preliminary results show that Traj2User is able to generate effective user embeddings.

연구 동기 및 목표

• 공간, 시간, 다수의 의미적 차원에서 이질적인 이동 데이터로부터 유저 유사도를 계산하는 데 도전하는 것.
• 이동 수단, 기상 조건, 활동 등 다양한 궤적 속성에 대해 수작업으로 유사도 함수를 정의할 필요를 제거하는 것.
• 원시 궤적 세그먼트에서 복잡한 유저 이동 패턴을 포괄하는 통합적이고 압축된 벡터 표현(유저 임베딩)을 학습하는 것.
• 신경망 임베딩 학습이 의미가 제한된 레이블을 가진 실생활 이동 데이터에서 유저 유사도를 효과적으로 모델링할 수 있는지 평가하는 것.

제안 방법

• Traj2User는 각 궤적 세그먼트를 '문장'으로 간주하고 의미적 레이블을 '단어'로 간주하여, Word2Vec에 영감을 받은 스킵그램 아키텍처를 적용해 유저 임베딩을 학습한다.
• 음성 샘플링과 확률적 경사 하강법을 사용해 임베딩 모델을 훈련하며, 의미적 및 행동적 유사성을 포함한 벡터 표현을 학습한다.
• 각 세그먼트가 이동 수단, 기상 조건, 활동 등 여러 의미적 속성으로 레이블링된 분할된 궤적을 처리하여, 각 유저별로 레이블의 순서를 형성한다.
• 특정 유저와 관련된 모든 세그먼트의 학습된 벡터 표현을 집계하여 유저 임베딩을 생성한다.
• 모델은 명시적인 유사도 함수나 의미적 차원의 수작업 가중치가 필요로 하지 않으며, 이러한 요소들은 데이터로부터 종합적으로 학습된다.
• 실제 유저 이동 기술서를 분할하여 생성한 1,000개의 유저 쌍으로 구성된 맞춤형 합성 데이터셋을 활용해 평가를 위한 유사도를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 의미적으로 풍부한 궤적에서 유사도 함수를 수작업으로 설계하지 않고도 신경망 임베딩 모델이 효과적으로 유저 유사도를 학습할 수 있는가?
• RQ2 Traj2User는 Sum, PPMI, SM 및 그 SVD 변형과 같은 전통적 방법에 비해 이동 패턴 유사도를 얼마나 잘 포착하는가?
• RQ3 레이블이 희박하거나 균일하지 않게 분포되어 있을 때도 모델이 유사한 이동 패턴을 가진 유저 그룹을 일반화하여 탐지할 수 있는가?
• RQ4 NLP에서 성공한 바탕에 기반한 소프트맥스 기반 모델이 이 작업에서는 왜 성능이 열악한가?
• RQ5 짧은 임베딩 차원 수가 성능을 유연하게 떨어뜨릴 수 있으며, 작은 데이터셋에서 전체 길이의 임베딩이 모델에 유익한가?

주요 결과

• Traj2User는 1,000개의 유저 쌍으로 구성된 테스트 세트에서 두 번째로 우수한 방법인 Sum 대비 평균 역수 순위(MRR)에서 상대적으로 14.7% 향상되었으며, 통계적 유의성(p = 3.66×10⁻⁵)을 확보했다.
• 전통적인 NLP 기반 기법인 PPMI, SM 및 그 SVD 변형은 언어 모델링 작업에서 성공을 거두었음에도 불구하고 성능이 열악하게 나타났다.
• 소프트맥스 기반 방법은 가장 열악한 성능을 보였으며, 이는 궤적 데이터에 확률적 해석을 강제하는 것이 이 작업에 부적합함을 시사한다.
• 임베딩 차원 수를 감소시켜도(f=8) Traj2User는 여전히 우수한 성능을 유지하며 Sum을 능가함으로써 유연한 성능 저하와 데이터 압축 잠재력을 보여준다.
• 2,000명의 유저(각각 100명씩 20개 그룹)로 구성된 시뮬레이션된 인구 집단에서 모델은 임베딩의 코사인 유사도를 통해 일관된 클러스터링을 성공적으로 시각화하여 그룹 내 유사성을 포착했다.
• TagMyDay 데이터셋에서 레이블 빈도의 분포가 로그적 분포임(지프-유사 분포가 아님)이 표준 NLP 기법의 열악한 성능에 기여할 수 있으며, 이는 향후 추가 조사가 필요하다.