[論文レビュー] TrAISformer -- A Transformer Network with Sparse Augmented Data Representation and Cross Entropy Loss for AIS-based Vessel Trajectory Prediction

Duong Nguyen, Ronan Fablet|arXiv (Cornell University)|Sep 8, 2021

Maritime Navigation and Safety被引用数 8

ひとこと要約

TrAISformerは、スパースな拡張データ表現とカスタム交差エントロピー損失を備えた新しいTransformerベースのモデルを提案し、AISデータを用いた中距離船舶の航跡予測を改善する。10時間程度の予測範囲で平均誤差が10海里未満に抑えられ、離散的で高次元の空間における長期時系列モデリングにより、マルチモーダルかつ多様な船舶の移動パターンを効果的にモデル化することで、最先端の手法を上回る性能を達成する。

ABSTRACT

Vessel trajectory prediction plays a pivotal role in numerous maritime applications and services. While the Automatic Identification System (AIS) offers a rich source of information to address this task, forecasting vessel trajectory using AIS data remains challenging, even for modern machine learning techniques, because of the inherent heterogeneous and multimodal nature of motion data. In this paper, we propose a novel approach to tackle these challenges. We introduce a discrete, high-dimensional representation of AIS data and a new loss function designed to explicitly address heterogeneity and multimodality. The proposed model-referred to as TrAISformer-is a modified transformer network that extracts long-term temporal patterns in AIS vessel trajectories in the proposed enriched space to forecast the positions of vessels several hours ahead. We report experimental results on real, publicly available AIS data. TrAISformer significantly outperforms state-of-the-art methods, with an average prediction performance below 10 nautical miles up to ~10 hours.

研究の動機と目的

• AISデータを用いた中距離予測（30分から数時間）における船舶航跡予測の課題に取り組む。これは、マルチモーダルかつ多様な運動パターンのため、依然として困難である。
• 既存のディープラーニングモデルが長期的な依存関係を捉えられず、開放海域における船舶移動のマルチモーダル行動を扱えないという限界を克服する。
• ポイントで分岐する航海ルートなどの複雑な大規模な移動パターン（例：ウェイポイントでのルート選択）を捉える表現学習手法を開発する。
• 船舶航跡のマルチモーダル性を明示的に扱う損失関数を設計し、特にルート分岐点での予測精度を向上させる。
• 自らの歴史的航跡のみを用いてエージェントの意図をモデリングすることが、中距離予測において十分であり、周囲の船舶との相互作用モデリングは非現実的かつ不要であることを示す。

提案手法

• モデルはAISデータの離散的かつ高次元の表現を用い、船舶の航跡をマルチモーダルな移動パターンを捉えるスパースで豊富な空間に符号化する。
• 歴史的AISシーケンスからの長期的時系列依存関係を抽出するために、変更を加えたTransformerアーキテクチャを採用し、複雑な長距離移動パターンのモデリングを可能にする。
• 船舶航跡のマルチモーダル分布に特に適した、新しい交差エントロピーに基づく損失関数を導入する。特にウェイポイントでの交差点における行動に有効である。
• 周囲の船舶とのリアルタイム相互作用（$\boldsymbol{V}^i_t$）を一切含まず、自らの歴史的軌道（$\boldsymbol{x}^{s^i}_{0:T}$）にのみ条件づける。その根拠は、中距離予測ではこのような相互作用が無視できるほど小さいという洞察に基づく。
• スパースなデータ表現により、元の多様で不均一なAIS特徴（位置、SOG、COG、MMSI）を構造的で高次元の離散空間に変換することで、モデルの一般化性能が向上する。
• 本モデルは、実際の公開AISデータを用いてエンドツーエンドで学習し、$L$ステップ先の船舶位置を予測する。$L$は約10時間まで拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 離散的で高次元のAISデータ表現を用いたTransformerベースのモデルは、船舶航跡における長期的時系列依存関係を効果的に捉えることができるか？
• RQ2 カスタム交差エントロピー損失関数は、特にルート選択ポイントで顕著なマルチモーダルな船舶移動パターンの存在下で、予測性能をどのように向上させるか？
• RQ3 周囲の船舶との相互作用モデリングを中距離船舶航跡予測から省いても、性能が著しく低下しない程度までどの程度まで可能か？
• RQ4 スパースなAISデータの拡張は、長時間予測において、元の特徴入力と比較して一般化性能と予測精度を向上させるか？
• RQ5 提案手法は、実世界のAISデータを用いて、10時間先までの船舶位置予測で平均誤差が10海里未満に抑えられるか？

主な発見

• TrAISformerは、実際のAISデータを用いて、10時間程度の予測範囲で平均誤差が10海里未満に抑えられ、最先端の手法を顕著に上回る性能を達成する。
• モデルの性能は、マルチモーダル行動が最も顕著に現れるウェイポイントでの複雑なルート選択を含む、多様な船舶移動パターンにおいても安定している。
• 離散的で高次元の表現の使用により、不均一なAISデータのモデリングが向上し、一般化性能と長期パターン認識能力が向上する。
• カスタム交差エントロピー損失関数は、マルチモーダルな航跡分布を効果的に捉え、重複した不自然なパスの予測確率を低減する。
• モデルは、周囲の船舶との相互作用モデリングが中距離予測において非現実的で、かつ不要であることを示している。船舶の意図は主に自らの歴史的航跡によって決定される。
• アブレーションスタディの結果、スパースなデータ表現やカスタム損失関数を削除すると性能が著しく低下することが確認され、これらがモデル成功の中心的役割を果たしていることが裏付けられた。