[논문 리뷰] Self-supervised Trajectory Representation Learning with Temporal Regularities and Travel Semantics

Jiawei Jiang, Dayan Pan외 4명|arXiv (Cornell University)|2022. 11. 17.

Data Management and Algorithms인용 수 4

한 줄 요약

이 논문은 시간적 규칙성(정기적인 교통 패턴과 비정규적인 시간 간격)과 주행 의미론(도로 방문 빈도 및 유형)을 궤적 임베딩에 통합하는 자기지도 학습 궤적 표현 학습 프레임워크인 START를 제안한다. 궤적 패턴 강화 그래프 주의 메커니즘과 시간 인지 궤적 인코더를 결합하고 스파나이즈드 마스킹 복구 및 대비 학습을 통해, 실제 데이터셋에서 다양한 후행 작업에서 최신 기술 수준의 성능을 달성하며, 도시 간 강력한 전이 가능성도 확보한다.

ABSTRACT

Trajectory Representation Learning (TRL) is a powerful tool for spatial-temporal data analysis and management. TRL aims to convert complicated raw trajectories into low-dimensional representation vectors, which can be applied to various downstream tasks, such as trajectory classification, clustering, and similarity computation. Existing TRL works usually treat trajectories as ordinary sequence data, while some important spatial-temporal characteristics, such as temporal regularities and travel semantics, are not fully exploited. To fill this gap, we propose a novel Self-supervised trajectory representation learning framework with TemporAl Regularities and Travel semantics, namely START. The proposed method consists of two stages. The first stage is a Trajectory Pattern-Enhanced Graph Attention Network (TPE-GAT), which converts the road network features and travel semantics into representation vectors of road segments. The second stage is a Time-Aware Trajectory Encoder (TAT-Enc), which encodes representation vectors of road segments in the same trajectory as a trajectory representation vector, meanwhile incorporating temporal regularities with the trajectory representation. Moreover, we also design two self-supervised tasks, i.e., span-masked trajectory recovery and trajectory contrastive learning, to introduce spatial-temporal characteristics of trajectories into the training process of our START framework. The effectiveness of the proposed method is verified by extensive experiments on two large-scale real-world datasets for three downstream tasks. The experiments also demonstrate that our method can be transferred across different cities to adapt heterogeneous trajectory datasets.

연구 동기 및 목표

• 기존 궤적 표현 학습(TRL) 방법이 궤적을 일반적인 순서로 간주하여 중요한 공간-시간 특성을 忽시하는 한계를 해결한다.
• 도로 방문 빈도 및 유형과 같은 주행 의미론을 궤적 표현에 통합하여 후행 작업 성능을 향상시킨다.
• 정기적인 도시 교통 패턴과 궤적 샘플 간 비정규적인 시간 간격을 포함한 시간적 규칙성을 모델링하여 표현 품질을 향상시킨다.
• 다양한 도시와 데이터셋에 적용 가능한 일반적이고 전이 가능한 궤적 표현을 학습하는 이단계 프레임워크를 설계한다.
• 라벨이 없는 데이터로도 공간-시간 규칙성을 명시적으로 활용하여 표현 학습을 향상시키는 자기지도 사전 학습 작업을 개발한다.

제안 방법

• 도로 네트워크 특성과 주행 의미론을 도로 세그먼트 표현 벡터에 인코딩하기 위해 궤적 패턴 강화 그래프 주의 메커니즘(TPE-GAT)을 활용한다.
• 시간적 규칙성을 모델링하면서 도로 세그먼트 표현을 통합된 궤적 표현 벡터로 집계하는 시간 인지 궤적 인코더(TAT-Enc)를 사용한다.
• 맥락과 시간 패턴을 기반으로 마스킹된 도로 세그먼트를 예측하는 스파나이즈드 마스킹 궤적 복구 작업을 도입하여 시퀀스 모델링을 향상시킨다.
• 시간적 및 공간적 증강을 활용한 궤적 대비 학습 작업을 설계하여 양의 궤적 뷰 간 유사도를 최대화하고 음의 쌍 간의 유사도를 최소화한다.
• 예측(스파나이즈드 마스킹 복구)과 대비 자기지도 학습 목표를 함께 최적화하여 프레임워크를 훈련한다.
• 대비 학습에는 정규화된 온도 스케일링 교차 엔트로피(NT-Xent) 손실을, 스파나이즈드 마스킹에는 표준 복원 손실을 적용한다.

(c) Time Interval Distribution.

실험 결과

연구 질문

• RQ1 정기적인 교통 패턴과 비정규적인 시간 간격과 같은 시간적 규칙성을 통합하면 궤적 표현 학습 성능이 향상되는가?
• RQ2 도로 방문 빈도 및 유형과 같은 주행 의미론은 더 정보적인 궤적 임베딩에 얼마나 기여하는가?
• RQ3 이중 단계 자기지도 학습 프레임워크는 이질적인 도시 데이터셋 간에 일반화 가능한 궤적 표현을 효과적으로 학습할 수 있는가?
• RQ4 궤적 분류, 군집화, 유사도 계산과 같은 후행 작업에서 제안된 프레임워크는 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 스파나이즈드 마스킹 복구와 대비 학습의 조합이 기존 자기지도 학습 방법보다 공간-시간 규칙성을 더 잘 포착할 수 있는가?

주요 결과

• START는 두 개의 대규모 실세계 데이터셋에서 궤적 분류, 군집화, 유사도 계산 세 가지 후행 작업에서 최신 기술 수준의 베이스라인을 초월한다.
• 특히 궤적 군집화와 유사도 계산에서 뚜렷한 성능 향상이 발생하며, 이는 시간적 규칙성과 주행 의미론을 명시적으로 모델링했기 때문이다.
• 프레임워크는 강력한 제로샷 전이 능력을 보이며, 재학습 없이도 궤적 분포가 다를 경우에도 다양한 도시로 잘 일반화된다.
• 절단 실험을 통해 스파나이즈드 마스킹 복구와 대비 학습이라는 두 가지 자기지도 학습 작업 모두 표현 품질 향상에 기여한다는 것이 확인되었다.
• 타임스탬프를 고려하는 Trembr와 비교해 START는 정기적 패턴과 비정규적인 시간 간격을 명시적으로 모델링함으로써 더 뛰어난 성능을 내었다.
• 그래프 인코더에 주행 의미론(예: 도로 방문 빈도)을 통합함으로써 더 분류 능력이 뛰어난 도로 세그먼트 표현이 도출되어 전체 성능 향상에 기여했다.

Figure 2: Overall Framework of START.