[論文レビュー] TNT: Target-driveN Trajectory Prediction

Hang Zhao, Jiyang Gao+10 more|arXiv (Cornell University)|Aug 19, 2020

Autonomous Vehicle Technology and Safety参考文献 38被引用数 210

ひとこと要約

TNT は、将来のターゲットを離散化し、これらのターゲットに基づいて運動を条件付け、軌道をスコアリングして、最もありそうな未来のコンパクトな集合を生成する、3 段階のターゲット駆動フレームワークを提案し、多くのベンチマークで最先端の結果を達成する。

ABSTRACT

Predicting the future behavior of moving agents is essential for real world applications. It is challenging as the intent of the agent and the corresponding behavior is unknown and intrinsically multimodal. Our key insight is that for prediction within a moderate time horizon, the future modes can be effectively captured by a set of target states. This leads to our target-driven trajectory prediction (TNT) framework. TNT has three stages which are trained end-to-end. It first predicts an agent's potential target states $T$ steps into the future, by encoding its interactions with the environment and the other agents. TNT then generates trajectory state sequences conditioned on targets. A final stage estimates trajectory likelihoods and a final compact set of trajectory predictions is selected. This is in contrast to previous work which models agent intents as latent variables, and relies on test-time sampling to generate diverse trajectories. We benchmark TNT on trajectory prediction of vehicles and pedestrians, where we outperform state-of-the-art on Argoverse Forecasting, INTERACTION, Stanford Drone and an in-house Pedestrian-at-Intersection dataset.

研究の動機と目的

• 実質的に妥当な離散的未来ターゲットの集合を明示的にモデル化することで、頑健なマルチモーダル軌道予測を動機づける。
• ターゲット予測、ターゲット条件付き運動、軌道スコアリングを分離した、3 段階のエンドツーエンド学習可能なフレームワークを導入する。
• ターゲットが長期的不確実性の大半を捉え、ターゲットに対して提供される運動が実質的に一峰性であることを示す。

提案手法

• Stage 1 (Target Prediction): scene context を用いて離散未来ターゲットの分布を予測する。ターゲットを過剰サンプル（例：N ~ 1000）し、関連するオフセットとともに上位 M 個のターゲットを出力する。ターゲット確率にはクロスエントロピー、オフセットにはHuber loss を用いて訓練する。
• Stage 2 (Target-conditioned Motion Estimation): 各ターゲットに対して、ターゲットと文脈に条件付けられた一峰性軌道を予測する。2 層の MLP を用い、訓練時にはteacher forcingを使用する。
• Stage 3 (Trajectory Scoring and Selection): 最大エントロピー模型で軌道をスコアリングし、ground-truth に類似したスコアに対するクロスエントロピー損失を用いて、多様でコンパクトなK個の予測をランク付け・選択する。近似的に重複する軌道を除去するために非極大抑制を用いる。

実験結果

リサーチクエスチョン

• RQ1 将来ターゲットを離散化することで、軌道予測における多くのマルチモーダル不確実性を捉えることができるか？
• RQ2 離散ターゲットに基づく軌道生成を条件付けることで、潜在変数サンプリングに依存せずに、正確で多様かつコンパクトな予測を実現できるか？
• RQ3 TNT パイプラインは、駆動データと歩行者データセット間で、最先端手法と比較してどのように性能を発揮するか？
• RQ4 予測精度と多様性に対するターゲットサンプリング密度の影響はどのようか？

主な発見

データセット	サブセット	minFDE	minADE	Miss Rate@2m
Argoverse (validation)	M=50, K=6	1.29	0.73	0.09
INTERACTION (validation)	M=50, K=6	0.67	0.21	-
PAID (validation)	M=50, K=6	0.32	0.18	-
Stanford Drone Dataset (SDD)	M=5, K=5	21.16	12.23	-

• TNT は四つのベンチマーク（Argoverse、INTERACTION、PAID、SDD）で最先端の結果を達成。
• ターゲット駆動の条件付けを用いることで、上位 M 個のターゲットと K 個の最終軌道からなるコンパクトな予測集合で高いリコールと精度を実現。
• 高密度なターゲットサンプリングは飽和点まで性能を向上させ、歩行者データに対してグリッドターゲットが有効に機能する。
• ターゲットオフセット回帰とターゲットごとの一峰性運動モデルは、これらの成分なしのバリアントと比較して精度を著しく向上させる。
• 潜在変数やアンカーベースのアプローチと比較して、TNT は解釈可能な中間出力（ターゲット）を提供し、予測性能も競合あるいは優越的である。
• 単一の TNT モデルが、いくつかのデータセットでチャレンジの優勝者の性能に匹敵するかそれを上回る。