[論文レビュー] AttnMove: History Enhanced Trajectory Recovery via Attentional Network

Xia Tong, Yunhan Qi+5 more|arXiv (Cornell University)|Jan 3, 2021

Human Mobility and Location-Based Analysis参考文献 26被引用数 4

ひとこと要約

AttnMoveは、局所的な移動パターンを捉えるためのイントラトラジェクトリーアテンションと、長期的な歴史的周期性を活用するためのインタトラジェクトリーアテンションを用いた、トランスフォーマー基盤のアテンションネットワークを提案する。実世界のデータセット上で評価された結果、スパースな移動データからの細粒度の軌跡回復において、最先端の手法を上回る精度を達成した。

ABSTRACT

A considerable amount of mobility data has been accumulated due to the proliferation of location-based service. Nevertheless, compared with mobility data from transportation systems like the GPS module in taxis, this kind of data is commonly sparse in terms of individual trajectories in the sense that users do not access mobile services and contribute their data all the time. Consequently, the sparsity inevitably weakens the practical value of the data even it has a high user penetration rate. To solve this problem, we propose a novel attentional neural network-based model, named AttnMove, to densify individual trajectories by recovering unobserved locations at a fine-grained spatial-temporal resolution. To tackle the challenges posed by sparsity, we design various intra- and inter- trajectory attention mechanisms to better model the mobility regularity of users and fully exploit the periodical pattern from long-term history. We evaluate our model on two real-world datasets, and extensive results demonstrate the performance gain compared with the state-of-the-art methods. This also shows that, by providing high-quality mobility data, our model can benefit a variety of mobility-oriented down-stream applications.

研究の動機と目的

• 位置ベースのサービスにおけるスパースかつ不規則にサンプリングされた移動軌跡の課題に対処すること。
• 長期的な履歴からイントラトラジェクトリーモビリティの規則性とインタトラジェクトリーパターンの周期性をモデル化することで、軌跡回復を向上させること。
• RNN やシーケンスベースのモデルがスパースで非順序な軌跡データを処理する際の限界を克服すること。
• 空間的・時間的依存関係と歴史的周期性を同時に捉える統合型アテンションメカニズムを設計すること。
• 下流の移動関連アプリケーションに適した高精度で細粒度の軌跡補完を可能にすること。

提案手法

• モデルは、時間的順序にかかわらず、すべての観測済み位置に等しく注目するイントラトラジェクトリーアテンション機構を採用し、単一のスパースなターゲット軌跡内のモビリティの規則性をモデル化する。
• 複数の歴史的軌跡からのパターンを整列・統合するためのインタトラジェクトリーアテンション機構を導入し、ホーム・ワークサイクルのような周期的行動を抽出する。
• 長期的履歴データを1日分の移動パターンのシーケンスとして表現することで、モデルが繰り返し発生する空間的・時間的行動を学習できるように統合する。
• 多ヘッドアテンションアーキテクチャを用いて、時間と空間の両方における複雑な依存関係を捉え、RNNに代わって長距離かつスパースなシーケンスをより効果的に処理する。
• 未観測タイムスロットにおける予測位置と真値との差を最小化する再構成損失を用いて、エンドツーエンドでモデルを訓練する。
• 性能最適化のため、埋め込み次元、アテンションヘッド数、ネットワークの深さのハイパーパrameterチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 従来のRNNが失敗するような極めてスパースな移動データから、アテンションベースのモデルが細粒度の軌跡を効果的に回復できるか？
• RQ2 長期的履歴移動パターンを効果的に要約することで、スパースな状況下での軌跡回復がどの程度向上するか？
• RQ3 複数ユーザー間の周期的行動を活用するインタトラジェクトリーアテンションは、回復精度にどの程度寄与するか？
• RQ4 順序なしでスパースな軌跡データを処理する際、インフラトラジェクトリーアテンションが順序モデリングを上回るか？
• RQ5 インフラトラジェクトリーアテンションとインタトラジェクトリーアテンションの統合は、既存の最先端の軌跡回復手法と比較してどの程度優れているか？

主な発見

• AttnMoveは、2つの実世界の移動データセットにおいて、既存の最先端手法を著しく上回る軌跡回復精度を達成した。
• 従来のRNNベースや平滑化フィルタ手法が著しく性能を落とすスパースな状況でも、顕著な性能向上を達成した。
• アブレーションスタディにより、インフラトラジェクトリーアテンションとインタトラジェクトリーアテンションの両方が全体の性能向上に寄与していることが確認された。
• インタトラジェクトリーアテンションによる長期履歴データの活用により、毎日の通勤ルーティンのような周期的移動パターンをモデルが捉えることができた。
• 高いスパarsityに強く、観測済みのすべての点に対するアテンションを活用することで、欠損位置予測の不確実性を効果的に低減した。
• ハイパーパrameterチューニングの結果、最適なパフォーマンスは8つのアテンションヘッドと特定の埋め込み次元で達成されたことが示され、アーキテクチャ設計への感受性が示された。