[論文レビュー] Pedestrian Trajectory Prediction using Context-Augmented Transformer Networks

Khaled Saleh|arXiv (Cornell University)|Dec 3, 2020

Autonomous Vehicle Technology and Safety参考文献 20被引用数 5

ひとこと要約

本論文は、過去の軌跡、エージェント間相互作用、シーンの意味的情報を統合することで精度を向上させる、文脈拡張型トランスフォーマー・ネットワークを提案する。本手法は、実世界のデータセットにおいて、短期および長期の予測時間窓の両方で先行手法を上回る性能を発揮する。

ABSTRACT

Forecasting the trajectory of pedestrians in shared urban traffic environments is still considered one of the challenging problems facing the development of autonomous vehicles (AVs). In the literature, this problem is often tackled using recurrent neural networks (RNNs). Despite the powerful capabilities of RNNs in capturing the temporal dependency in the pedestrians' motion trajectories, they were argued to be challenged when dealing with longer sequential data. Thus, in this work, we are introducing a framework based on the transformer networks that were shown recently to be more efficient and outperformed RNNs in many sequential-based tasks. We relied on a fusion of the past positional information, agent interactions information and scene physical semantics information as an input to our framework in order to provide a robust trajectory prediction of pedestrians. We have evaluated our framework on two real-life datasets of pedestrians in shared urban traffic environments and it has outperformed the compared baseline approaches in both short-term and long-term prediction horizons.

研究の動機と目的

• 自律走行車両の安全確保のため、複雑な都市交通環境における正確な歩行者軌跡予測の課題に取り組む。
• 歩行者の運動における長い順序依存性をモデル化するのに限界を示す再帰ニューラルネットワーク（RNN）の課題を克服する。
• 過去の軌跡を超えた文脈的情報、特にエージェント相互作用とシーンの意味的情報を組み込むことで、予測のロバスト性を向上させる。
• 複数モodalな文脈入力を効果的に統合するためのトランスフォーマー基盤アーキテクチャを開発する。
• 短期および長期の両方の軌跡予測において、ベンチマークデータセットで最先端の性能を達成する。

提案手法

• RNNに比べて、歩行者軌跡の順序依存性をより効果的にモデル化できるトランスフォーマー基盤のエンコーダ・デコーダアーキテクチャを採用する。
• 過去の歩行者位置、周囲のエージェントとの空間的相互作用、シーンの意味的情報（例：歩道、横断歩道）という3つの主要な文脈入力を統合する。
• 入力シーケンスにおける時間的順序と空間的レイアウト情報を保持するために、位置符号化を用いる。
• 長距離依存性および歩行者間の動的相互作用を捉えるために、マルチヘッド自己注意機構を適用する。
• 予測ヘッドの前段階で、マルチモーダルな文脈特徴を後段の統合または連結によって統合する。
• 未来の軌跡点における予測誤差を最小化するため、シーケンス・ツー・シーケンス損失関数を用いて、エンド・ツー・エンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のモデルは、短期および長期の両時間窓において、RNN基盤のモデルを上回る性能を発揮できるか？
• RQ2 エージェント相互作用とシーンの意味的情報を組み込むことで、軌跡のみに依存するモデルと比較して、予測精度がどの程度向上するか？
• RQ3 複雑なダイナミクスを示す実世界の都市交通シナリオにおいて、提案手法の文脈拡張型アーキテクチャはどの程度のロバスト性を示すか？
• RQ4 複数の文脈モダリティの統合は、より信頼性が高く多様性のある軌跡予測をもたらすか？
• RQ5 本モデルは、多様な都市環境および歩行者の行動様式に一般化可能か？

主な発見

• 提案手法は、2つの実世界の歩行者軌跡データセットにおいて、ベースラインのRNN基盤およびアテンション基盤のモデルを上回った。
• シーンの意味的情報とエージェント相互作用の情報の統合が、特に長期予測において、予測精度を顕著に向上させた。
• 本モデルは、短期予測（例：5–10秒）および長期予測（例：15–20秒）の両方の時間窓で、最先端の性能を達成した。
• アテンション機構により、長距離依存性および歩行者間の動的相互作用が効果的に捉えられ、より正確な軌跡予測が可能になった。
• 文脈拡張設計のおかげで、高い歩行者密度と障害物を伴う複雑な都市シーンでも、よりロバストな予測が可能になった。
• 定量的評価では、先行手法と比較して最終的距離誤差（FDE）および平均距離誤差（ADE）が顕著に低減した。