[논문 리뷰] Transformer-based Map Matching Model with Limited Ground-Truth Data using Transfer-Learning Approach

Zhixiong Jin, Kim, Jiwon외 2명|arXiv (Cornell University)|2021. 08. 01.

Traffic Prediction and Management Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 데이터 부족 문제를 해결하기 위해 전이 학습을 활용하는 트랜스포머 기반의 지ap 매칭 모델을 제안한다. 합성으로 생성된 궤적을 사전 학습하고, 제한된 실제 지도 기반 데이터로 미세 조정한다. 이 모델은 강남 택시 데이터셋에서 최신 기술 수준의 성능을 달성하여 룰 기반 및 딥 러닝 기반 기준 모델을 능가하며, 어텐션 분석을 통해 의미 있는 내부 및 외부 데이터 상관관계를 드러낸다.

ABSTRACT

In many spatial trajectory-based applications, it is necessary to map raw trajectory data points onto road networks in digital maps, which is commonly referred to as a map-matching process. While most previous map-matching methods have focused on using rule-based algorithms to deal with the map-matching problems, in this paper, we consider the map-matching task from the data-driven perspective, proposing a deep learning-based map-matching model. We build a Transformer-based map-matching model with a transfer learning approach. We generate trajectory data to pre-train the Transformer model and then fine-tune the model with a limited number of ground-truth data to minimize the model development cost and reduce the real-to-virtual gap. Three metrics (Average Hamming Distance, F-score, and BLEU) at two levels (point and segment level) are used to evaluate the model performance. The results indicate that the proposed model outperforms existing models. Furthermore, we use the attention weights of the Transformer to plot the map-matching process and find how the model matches the road segments correctly.

연구 동기 및 목표

• 고성능 지도 매칭 모델을 훈련하기 위한 실제 세계의 지도 기반 궤적 데이터가 부족한 문제를 해결한다.
• 대규모 역사적 궤적 데이터로부터 수집된 이동 패턴과 노이즈 특성들을 활용하여 지도 매칭 정확도를 향상시킨다.
• 룰 기반 및 독립적인 궤적 처리 방법의 한계를 극복하기 위해 GPS 궤적의 복잡한 시공간 상관관계를 포착하는 데이터 기반 딥 러닝 접근법을 개발한다.
• 실제 데이터로의 효과적인 전이 학습을 가능하게 하여 지도 매칭 작업에서의 실제-가상 간 성능 격차를 줄인다.
• 어텐션 메커니즘 분석을 통해 모델 결정의 해석 가능성을 제공하여 내부 GPS 포인트 상관관계와 입력 궤적과 매칭된 도로 세그먼트 간 외부 관계를 드러낸다.

제안 방법

• 도로 네트워크 구조를 기반으로 유도된 대량의 합성 GPS 궤적을 사용해 트랜스포머 기반의 지도 매칭 모델을 사전 학습한다.
• 도메인 분리 문제를 최소화하고 실제 세계 성능을 향상시키기 위해 제한된 실제 지도 기반 궤적 데이터셋을 사용해 사전 학습된 모델을 미세 조정한다.
• 장거리 의존성과 GPS 포인트 간의 맥락적 관계를 모델링하기 위해 멀티헤드 자기어텐션을 활용한 시퀀스 투 시퀀스 아키텍처를 적용한다.
• 도로 네트워크 기반 궤적 생성을 통한 데이터 증강을 활용해 현실적인 이동 패턴과 노이즈 특성을 시뮬레이션한다.
• 합성 데이터(사전 학습)에서 실제 데이터(미세 조정)로 지식을 전이하기 위해 전이 학습을 적용하여 고비용의 실제 레이블링에 대한 의존도를 감소시킨다.
• 포인트 수준 및 세그먼트 수준의 평가 지표를 사용해 모델 성능을 평가한다: 평균 하밍 거리(AHD), F-score, BLEU로 매칭 정확도를 종합적으로 평가한다.

실험 결과

연구 질문

• RQ1 합성 궤적에서 사전 학습하고 제한된 실제 지도 기반 데이터로 미세 조정한 트랜스포머 기반 모델이 기존의 룰 기반 및 딥 러닝 모델보다 뛰어난 지도 매칭 성능을 달성할 수 있는가?
• RQ2 트랜스포머 모델의 어텐션 메커니즘이 GPS 포인트 간 내부 상관관계와 입력 궤적과 매칭된 도로 세그먼트 간 외부 관계를 어떻게 드러내는가?
• RQ3 합성 데이터에서 실제 데이터로의 전이 학습이 지도 매칭 작업에서의 실제-가상 간 성능 격차를 어느 정도 줄이는가?
• RQ4 사전 학습을 위한 다양한 데이터 생성 전략이 미세 조정 후 최종 모델 성능에 어떤 영향을 미치는가?
• RQ5 제한된 실제 지도 기반 데이터가 존재하는 상황에서도 모델이 실제 도시 환경에 잘 일반화되는가? 정확도 및 강건성 측면에서 기준 모델과 비교해보면 어떻게 되는가?

주요 결과

• 사전 학습 단계에서 사전 학습된 트랜스포머 모델은 룰 기반 모델(FMM 및 ST-matching)을 초월하여 합성 데이터를 통한 초기 표현 학습의 효과성을 입증했다.
• 미세 조정된 트랜스포머 모델은 세 가지 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 모든 평가 지표에서 LSTM 기반 seq2seq 및 어텐션 기반 seq2seq 기준 모델을 모두 능가했다.
• 미세 조정은 실제-가상 갭을 크게 줄였다: 성능이 뛰어난 사전 학습 모델의 경우, 현실적 매칭을 위해서는 필수적이었으며, 성능이 열악한 모델의 경우 주로 성능 향상에 기여했다.
• 노이즈가 있는 대표 궤적에 대해, 미세 조정된 모델은 첫 두 GPS 포인트를 각각 해당 도로 세그먼트에 정확히 매칭하여 강건성 향상을 입증했다.
• 어텐션 분석을 통해 목표 GPS 포인트와 현재 및 인접한 도로 세그먼트의 포인트 간 강한 상관관계가 확인되어, 모델이 공간적 맥락을 포착할 수 있음을 확인했다.
• 이웃하는 세그먼트의 포인트도 매칭 결정에 기여하는 것으로 나타나, 모델이 바로 근접한 세그먼트를 넘어서 공간적 관계를 효과적으로 모델링하고 있음을 보여주었다.