[論文レビュー] Self-supervised Trajectory Representation Learning with Temporal Regularities and Travel Semantics

Jiawei Jiang, Dayan Pan+4 more|arXiv (Cornell University)|Nov 17, 2022

Data Management and Algorithms被引用数 4

ひとこと要約

本論文は、時間的規則性（周期的交通パターンや不規則な時間間隔）と移動意味（道路の訪問頻度や種別）を軌跡埋め込みに統合する自己教師あり軌跡表現学習フレームワーク、STARTを提案する。スパンマスク復元と対照的学習を組み合わせたトラジェクトリーパターン強化型グラフアテンションネットワークとタイムアウェア軌跡エンコーダーを用いることで、実世界のデータセット上で複数の下流タスクで最先端の性能を達成し、都市間での強力な転送性を示す。

ABSTRACT

Trajectory Representation Learning (TRL) is a powerful tool for spatial-temporal data analysis and management. TRL aims to convert complicated raw trajectories into low-dimensional representation vectors, which can be applied to various downstream tasks, such as trajectory classification, clustering, and similarity computation. Existing TRL works usually treat trajectories as ordinary sequence data, while some important spatial-temporal characteristics, such as temporal regularities and travel semantics, are not fully exploited. To fill this gap, we propose a novel Self-supervised trajectory representation learning framework with TemporAl Regularities and Travel semantics, namely START. The proposed method consists of two stages. The first stage is a Trajectory Pattern-Enhanced Graph Attention Network (TPE-GAT), which converts the road network features and travel semantics into representation vectors of road segments. The second stage is a Time-Aware Trajectory Encoder (TAT-Enc), which encodes representation vectors of road segments in the same trajectory as a trajectory representation vector, meanwhile incorporating temporal regularities with the trajectory representation. Moreover, we also design two self-supervised tasks, i.e., span-masked trajectory recovery and trajectory contrastive learning, to introduce spatial-temporal characteristics of trajectories into the training process of our START framework. The effectiveness of the proposed method is verified by extensive experiments on two large-scale real-world datasets for three downstream tasks. The experiments also demonstrate that our method can be transferred across different cities to adapt heterogeneous trajectory datasets.

研究の動機と目的

• 既存の軌跡表現学習（TRL）手法が軌跡を通常の系列として扱う点に起因する制限を解消する。特に、空間的・時間的特性を無視している点を是正する。
• 道路の訪問頻度や種別といった移動意味を軌跡表現に組み込むことで、下流タスクの性能を向上させる。
• 周期的都市交通パターンや軌跡サンプル間の不規則な時間間隔といった時間的規則性をモデル化することで、表現品質を向上させる。
• 多様な都市やデータセットに適用可能な汎用的かつ転送可能な軌跡表現を学習する二段階フレームワークを設計する。
• ラベルなしデータを用いても空間的・時間的規則性を明示的に活用できる自己教師あり事前学習タスクを開発する。

提案手法

• 道路ネットワークの特徴と移動意味を道路セグメント表現ベクトルに統合するために、トラジェクトリーパターン強化型グラフアテンションネットワーク（TPE-GAT）を採用する。
• 時間的規則性をモデル化しながら、道路セグメント表現を統合的に軌跡表現ベクトルに集約するタイムアウェア軌跡エンコーダー（TAT-Enc）を用いる。
• 文脈と時間的パターンに基づいてマスクされた道路セグメントを予測するスパンマスク復元タスクを導入し、系列モデリングを強化する。
• 時間的および空間的オーグメンテーションを用いた対照的学習タスクを設計し、ポジティブな軌跡ビュー間の類似度を最大化し、ネガティブペア間の類似度を最小化する。
• 予測的（スパンマスク復元）および対照的自己教師あり学習目的を併用して、フレームワークを共同で学習させる。
• 対照的学習には正規化された温度スケーリング付き交差エントロピー（NT-Xent）損失を、スパンマスクには標準の再構成損失を適用する。

(c) Time Interval Distribution.

実験結果

リサーチクエスチョン

• RQ1 周期的交通パターンや不規則な時間間隔といった時間的規則性を統合することで、軌跡表現学習が向上するか？
• RQ2 道路訪問頻度や種別といった移動意味は、より情報豊かな軌跡埋め込みにどの程度寄与するか？
• RQ3 二段階の自己教師ありフレームワークは、異種の都市データセットにわたる汎用的かつ転送可能な軌跡表現を効果的に学習できるか？
• RQ4 軌跡分類、クラスタリング、類似度計算といった下流タスクにおいて、提案フレームワークは最先端手法と比較してどのように性能を発揮するか？
• RQ5 スパンマスク復元と対照的学習の組み合わせは、従来の自己教師あり手法と比較して、空間的・時間的規則性をよりよく捉えられるか？

主な発見

• STARTは、二つの大規模実世界データセット上で、三つの下流タスク（軌跡分類、クラスタリング、類似度計算）において最先端のベースラインを上回る性能を達成した。
• 時間的規則性と移動意味の明示的モデリングのおかげで、特に軌跡クラスタリングと類似度計算の分野で顕著な性能向上を達成した。
• アブレーションスタディの結果、スパンマスク復元と対照的学習の両方の自己教師ありタスクが表現品質向上に寄与していることが確認された。
• 時刻を考慮するTrembrと比較して、STARTは周期的パターンと不規則な時間間隔を明示的にモデル化しているため、より優れた性能を発揮した。
• グラフエンコーダーに移動意味（例：道路訪問頻度）を統合することで、より判別力のある道路セグメント表現が得られ、全体の性能向上に寄与した。

Figure 2: Overall Framework of START.