[論文レビュー] FMA-ETA: Estimating Travel Time Entirely Based on FFN With Attention

Yiwen Sun, Yulu Wang+5 more|arXiv (Cornell University)|Jun 7, 2020

Traffic Prediction and Management Techniques参考文献 27被引用数 4

ひとこと要約

FMA-ETA は、トラベルタイム推定のための、完全にフィードフォワードネットワーク（FFN）に基づく新規フレームワークを提案する。マルチファクター自己注意機構を備え、推論速度が顕著に向上し、RNNベースのモデル（例：WDR）を大きく上回る。再帰構造を用いず、複数要因の系列依存関係を効果的にモデル化することで、高速かつ高精度なリアルタイムETA予測を実現する。

ABSTRACT

Estimated time of arrival (ETA) is one of the most important services in intelligent transportation systems and becomes a challenging spatial-temporal (ST) data mining task in recent years. Nowadays, deep learning based methods, specifically recurrent neural networks (RNN) based ones are adapted to model the ST patterns from massive data for ETA and become the state-of-the-art. However, RNN is suffering from slow training and inference speed, as its structure is unfriendly to parallel computing. To solve this problem, we propose a novel, brief and effective framework mainly based on feed-forward network (FFN) for ETA, FFN with Multi-factor self-Attention (FMA-ETA). The novel Multi-factor self-attention mechanism is proposed to deal with different category features and aggregate the information purposefully. Extensive experimental results on the real-world vehicle travel dataset show FMA-ETA is competitive with state-of-the-art methods in terms of the prediction accuracy with significantly better inference speed.

研究の動機と目的

• 大規模なライドシェアリングプラットフォームにおける、RNNベースのモデルの遅い推論速度を改善すること。
• 再帰構造を用いず、順序付きトラベルデータに内在する複雑な空間的・時系列的依存関係をフィードフォワードネットワーク（FFN）アーキテクチャが効果的に捉えられるかを検証すること。
• NLP分野で一般的に用いられる標準的なマルチヘッド自己注意機構を凌駆する、ETAのためのマルチファクター順序入力に特化した新規注意機構を設計すること。
• 最先端のRNNベース手法と比較して、予測精度に大きな劣化を来さずに推論速度を著しく向上させること。
• 大手ライドシェアリングプラットフォームから得た5億件を超えるトラジェクトリを含む大規模実世界データセットを用いて、フレームワークの妥当性を検証すること。

提案手法

• LSTMなど再帰構造を用いない、完全にフィードフォワードネットワーク（FFN）に依存するETA用の深層学習フレームワーク「FMA-ETA」を提案する。
• 異なる種類の入力特徴（例：時刻、位置、交通状況）を別々に注目できる、新規のマルチファクター自己注意機構を導入し、異種の依存関係をよりよくモデル化する。
• 順序の保存を図るために、可学習な位置エンコーディングを導入し、再帰的処理に代わる並列処理可能な注意計算を実現する。
• 残差接続を備えたマルチスケールフィードフォワードブロックを採用し、表現力の向上と同時に学習の安定性を維持する。
• 一般化性と耐障害性の向上を目的に、旅行時間と関連ルート特徴を同時に予測するマルチタスク学習目的関数を採用する。
• 標準的な最適化手法を用いて、大手ライドシェアリングプラットフォームの実世界トラジェクトリデータセット上で、エンドツーエンドにモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースの最先端手法と比較して、単独のフィードフォワードネットワークアーキテクチャが、競争力のあるトラベルタイム予測精度を達成できるか？
• RQ2 標準的なマルチヘッド自己注意機構に比べ、旅行時間予測の文脈において、カスタム設計されたマルチファクター自己注意機構が、複雑で多面的な系列依存関係をより効果的にモデル化できるか？
• RQ3 RNNベースのモデルと比較して、予測精度を損なわずに、FFNベースのモデルが著しく高速な推論速度を達成できるか？
• RQ4 本研究で提案するフレームワークは、特に実世界のライドシェアリングデータに一般的な長系列において、どのように性能を発揮するか？
• RQ5 マルチファクター自己注意機構は、複数の異種要因に影響を受ける他の系列学習タスクに対しても汎用的に適用可能か？

主な発見

• FMA-ETA は、最先端のRNNベース手法 WDR と同等の予測精度を達成しており、MAE および MAPE メトリクスにおいてわずかに優れた性能を示している。
• FMA-ETA は WDR に比べて推論速度で顕著に優れており、特に長系列において顕著な利点を示しており、系列長が180ステップを超えると明確な優位性を発揮する。
• 旅行時間予測の文脈において、提案されたマルチファクター自己注意機構は、標準的なマルチヘッド自己注意機構を上回る性能を示した。
• 実世界の5億件を超えるトラジェクトリを含むデータセットを用いた検証により、FMA-ETA は多様な道路種別および交通状況においても高い精度を維持した。
• FMA-ETA は高速なリアルタイム推論を実現し、生産レベルのライドシェアリングおよびナビゲーションシステムへの導入に適している。
• 本モデルは長距離依存関係に強く、系列長に比例して効率的にスケーリングするが、RNNとは異なり、推論時間が急激に増加しない。