[論文レビュー] MSTFormer: Motion Inspired Spatial-temporal Transformer with Dynamic-aware Attention for long-term Vessel Trajectory Prediction

Huimin Qiang, Zhiyuan Guo+2 more|arXiv (Cornell University)|Mar 21, 2023

Maritime Navigation and Safety被引用数 4

ひとこと要約

MSTFormerは、自己注意メカニズムと知識に基づく損失関数に船舶の運動特性を統合することで、長期的な船舶の航跡予測のための動きにインspiredされた空間時系列変換器を提案する。特にコーナー部の航跡において、挑戦的なコーナーデータで1.3781のDISを達成し、変換器およびLSTMベースのモデルと比較して200％以上の誤差低減を達成し、最先端の性能を実現した。

ABSTRACT

Incorporating the dynamics knowledge into the model is critical for achieving accurate trajectory prediction while considering the spatial and temporal characteristics of the vessel. However, existing methods rarely consider the underlying dynamics knowledge and directly use machine learning algorithms to predict the trajectories. Intuitively, the vessel's motions are following the laws of dynamics, e.g., the speed of a vessel decreases when turning a corner. Yet, it is challenging to combine dynamic knowledge and neural networks due to their inherent heterogeneity. Against this background, we propose MSTFormer, a motion inspired vessel trajectory prediction method based on Transformer. The contribution of this work is threefold. First, we design a data augmentation method to describe the spatial features and motion features of the trajectory. Second, we propose a Multi-headed Dynamic-aware Self-attention mechanism to focus on trajectory points with frequent motion transformations. Finally, we construct a knowledge-inspired loss function to further boost the performance of the model. Experimental results on real-world datasets show that our strategy not only effectively improves long-term predictive capability but also outperforms backbones on cornering data.The ablation analysis further confirms the efficacy of the proposed method. To the best of our knowledge, MSTFormer is the first neural network model for trajectory prediction fused with vessel motion dynamics, providing a worthwhile direction for future research.The source code is available at https://github.com/simple316/MSTFormer.

研究の動機と目的

• 深層学習ベースの船舶航跡予測モデルにおける動的知識統合の欠如に対処すること。
• 空間時系列依存関係と運動状態遷移をモデル化することで、長期的航跡予測の精度を向上させること。
• 特に急な曲がり角（コーナー部データ）のような困難な航跡セグメントにおける性能を向上させること。
• ニューラルネットワーク学習と物理的運動法則の間のギャップを埋めるために、運動法則を注意メカニズムと損失関数に埋め込むこと。
• ドメイン特化された動的特性と深層学習を融合した、新たな解釈可能な航跡予測フレームワークを提供すること。

提案手法

• AISデータから空間特徴と運動特性（例えば、速度および旋回率の変化）を符号化するための拡張された航跡行列（ATM）を提案する。
• 旋回などの頻繁な運動変換を示す航跡点に注目する、マルチヘッド動的認識自己注意メカニズムを導入する。
• 地図上の補正に基づく知識に基づく損失関数を設計し、物理的に妥当な予測へとモデルを誘導する。
• Transformerエンコーダーに入力する前に、ATMから空間的および動的パターンを抽出するためにCNNを用いる。
• 動的認識の注意メカニズムと知識に基づく損失関数を組み合わせ、注意の焦点と動的整合性の両方を同時に最適化する。
• モデルが原始的な航跡データと物理的インスパイラションに基づく補正信号の両方から学習できるハイブリッドトレーニング戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 変換器アーキテクチャに船舶の運動特性を統合することで、長期的航跡予測の精度が向上するか？
• RQ2 動的認識の注意メカニズムは、旋回のような重要な運動遷移に注目する能力をどのように向上させるか？
• RQ3 知識に基づく損失関数は、複雑な航跡における予測の正確性と一般化性能をどの程度向上させるか？
• RQ4 運動特性と深層学習を融合させたアプローチは、コーナー部および長期的予測において、標準的な深層学習バックボーンを上回るか？
• RQ5 動的認識の注意メカニズムと知識に基づく損失関数を併用することが、最適な性能を達成するためになぜ不可欠か？

主な発見

• コーナー部データにおいて、MSTFormerはDISが1.3781を達成し、LSTMED-attention（DIS 4.9627）と比較して213.5％の誤差増加を示した。
• MSTFormerはコーナー部データにおいてMSEを2.5058×10⁻⁴に低減し、変換器（32.7519×10⁻⁴）およびLSTMED-attention（24.6290×10⁻⁴）を著しく上回った。
• アブレーションスタディにより、動的認識の注意メカニズムと知識に基づく損失関数の組み合わせが、ベースラインの変換器と比較してDISを16.2％低減したことが確認された。
• ATMからの特徴抽出にCNNを追加することで、標準的な変換器と比較してDISが8.04％低減し、MSEが12.7％低減した。
• 動的認識の注意メカニズムのみ、または知識に基づく損失関数のみを用いた場合、モデルの性能が低下したため、両方のコンポーネントが最適な結果を得るために不可欠であることが示された。
• 知識に基づく損失関数を単独で使用した場合、DISは2.2057から2.2650に改善されたが、すべてのコンポーネントを含む完全なモデルが最も低い誤差（2.2650）を達成し、相乗効果が確認された。