[논문 리뷰] TrAISformer -- A Transformer Network with Sparse Augmented Data Representation and Cross Entropy Loss for AIS-based Vessel Trajectory Prediction

Duong Nguyen, Ronan Fablet|arXiv (Cornell University)|2021. 09. 08.

Maritime Navigation and Safety인용 수 8

한 줄 요약

TrAISformer는 AIS 데이터를 사용하여 중거리 항로 예측 성능을 향상시키기 위해 희박한 증강된 데이터 표현과 맞춤형 교차 엔트로피 손실을 갖춘 새로운 Transformer 기반 모델을 제안한다. 이 모델은 약 10시간 이내로 평균 오차가 10해리 이하인 성능을 달성하며, 이는 이산적이고 고차원적인 공간에서 장기적인 시간적 모델링을 통해 다중모달성과 이질적인 선박 이동 패턴을 효과적으로 모델링함으로써 최신 기법들을 능가한다.

ABSTRACT

Vessel trajectory prediction plays a pivotal role in numerous maritime applications and services. While the Automatic Identification System (AIS) offers a rich source of information to address this task, forecasting vessel trajectory using AIS data remains challenging, even for modern machine learning techniques, because of the inherent heterogeneous and multimodal nature of motion data. In this paper, we propose a novel approach to tackle these challenges. We introduce a discrete, high-dimensional representation of AIS data and a new loss function designed to explicitly address heterogeneity and multimodality. The proposed model-referred to as TrAISformer-is a modified transformer network that extracts long-term temporal patterns in AIS vessel trajectories in the proposed enriched space to forecast the positions of vessels several hours ahead. We report experimental results on real, publicly available AIS data. TrAISformer significantly outperforms state-of-the-art methods, with an average prediction performance below 10 nautical miles up to ~10 hours.

연구 동기 및 목표

• AIS 데이터를 이용한 중거리 항로 예측(30분에서 수십 시간) 과제를 해결하기 위해, 다중모달성과 이질적인 운동 패턴으로 인해 여전히 도전적인 문제에 대응한다.
• 기존 딥 러닝 모델이 장기적 의존성과 개방 해상에서의 다중모달 행동을 포착하지 못하는 한계를 극복한다.
• 도착지점에서 선박이 다른 해상 항로로 분리되는 등 복잡하고 대규모의 이동 패턴(예: 경유지에서의 경로 선택)을 포착하는 표현 학습 방법을 개발한다.
• 다중모달성인 선박 항로 분포를 명시적으로 고려하는 손실 함수를 설계하여, 특히 경로 결정 지점에서의 예측 정확도를 향상시킨다.
• 자신의 역사적 궤적만으로도 중거리 예측에 충분하며, 상호작용 모델링이 비현실적이고 불필요하다는 것을 입증한다.

제안 방법

• 모델은 선박 항로를 다중모달 운동 패턴을 포착하는 희박하고 풍부한 공간으로 인코딩하기 위해 AIS 데이터의 이산적이고 고차원적인 표현을 사용한다.
• 기존 Transformer 아키텍처를 수정하여 역사적 AIS 시퀀스에서 장기적인 시간적 의존성을 추출함으로써, 복잡한 장거리 운동 패턴을 모델링할 수 있다.
• 선박 항로의 다중모달 분포를 명시적으로 다루기 위해 새로운 교차 엔트로피 기반 손실 함수를 도입한다. 특히 경로 교차 지점에서의 성능 향상에 기여한다.
• 선박의 자신의 역사적 궤적($\boldsymbol{x}^{s^i}_{0:T}$)에만 조건을 두며, 실시간 주변 선박 상호작용($\boldsymbol{V}^i_t$)은 생략한다. 그 이유는 중거리 예측 수준에서는 이러한 상호작용이 무시할 만큼 미미하기 때문이다.
• 희박한 데이터 표현은 원시 이질적 AIS 특징(위치, 항속 속도, 진항 방향, MMSI)을 구조화된 고차원 이산 공간으로 변환함으로써 모델의 일반화 능력을 향상시킨다.
• 실제로 공개된 AIS 데이터를 기반으로 엔드 투 엔드로 훈련하여 최대 $L$ 단계 향후 선박 위치를 예측한다. 이때 $L$은 약 10시간까지 연장된다.

실험 결과

연구 질문

• RQ1 이산적이고 고차원적인 AIS 데이터 표현을 갖춘 Transformer 기반 모델이 선박 항로의 장기적인 시간적 의존성을 효과적으로 포착할 수 있는가?
• RQ2 특히 경로 결정 지점에서 다중모달 선박 이동 패턴이 존재할 경우, 맞춤형 교차 엔트로피 손실 함수는 예측 성능을 어떻게 향상시키는가?
• RQ3 근처 선박과의 상호작용 모델링을 중거리 선박 항로 예측에서 생략해도 성능 저하가 발생하지 않을 정도로 어느 정도 가능한가?
• RQ4 희박한 증강 처리를 통해 AIS 데이터를 다루는 것이 장기 예측에서 원시 특징 입력에 비해 일반화 능력과 예측 정확도를 향상시키는가?
• RQ5 제안된 방법이 실제 세계 AIS 데이터를 기반으로 약 10시간 후까지 평균 예측 오차가 10해리 이하인 성능을 달성할 수 있는가?

주요 결과

• TrAISformer는 실제 AIS 데이터 기반으로 약 10시간 이내 예측 평균 오차가 10해리 이하인 성능을 달성하며, 최신 기법들을 크게 능가한다.
• 복잡한 경유지에서의 경로 선택과 같이 다중모달 행동이 가장 두드러지는 상황에서도 모델의 성능은 뛰어난 안정성을 유지한다.
• 이산적이고 고차원적인 표현 방식을 사용함으로써 이질적인 AIS 데이터를 보다 효과적으로 모델링할 수 있었으며, 일반화 능력 향상과 장기 패턴 인식 능력 향상에 기여했다.
• 맞춤형 교차 엔트로피 손실 함수는 다중모달 항로 분포를 효과적으로 포착하여, 통합된 비현실적인 경로를 예측할 가능성을 줄였다.
• 모델는 주변 선박과의 상호작용 모델링이 중거리 예측에서 비현실적이고 불필요하다는 것을 입증하였다. 선박의 의도는 주로 자신의 역사적 궤적만으로도 충분히 파악 가능하기 때문이다.
• 제거 실험 결과, 희박한 데이터 표현 또는 맞춤형 손실 함수를 제거할 경우 성능 저하가 심각하게 발생함을 확인하였으며, 이는 이 두 요소가 모델 성공에 핵심적인 역할을 한다는 것을 검증한다.