[論文レビュー] DenseTNT: End-to-end Trajectory Prediction from Dense Goal Sets

Junru Gu, Chen Sun+1 more|arXiv (Cornell University)|Aug 22, 2021

Autonomous Vehicle Technology and Safety参考文献 39被引用数 18

ひとこと要約

DenseTNTは、最適化に基づく偽ラベル付けを用いて、密度の高いゴール確率を予測し、最適なゴール集合を選択することで、多様で高カバレッジの将来軌道を生成するアンカーフリーでエンドツーエンドの軌道予測モデルを提案する。このモデルは最先端の性能を達成し、Argoverseベンチマークで1位を獲得し、2021年Waymo Open Dataset Motion Prediction Challengeでも優勝を果たした。

ABSTRACT

Due to the stochasticity of human behaviors, predicting the future trajectories of road agents is challenging for autonomous driving. Recently, goal-based multi-trajectory prediction methods are proved to be effective, where they first score over-sampled goal candidates and then select a final set from them. However, these methods usually involve goal predictions based on sparse pre-defined anchors and heuristic goal selection algorithms. In this work, we propose an anchor-free and end-to-end trajectory prediction model, named DenseTNT, that directly outputs a set of trajectories from dense goal candidates. In addition, we introduce an offline optimization-based technique to provide multi-future pseudo-labels for our final online model. Experiments show that DenseTNT achieves state-of-the-art performance, ranking 1st on the Argoverse motion forecasting benchmark and being the 1st place winner of the 2021 Waymo Open Dataset Motion Prediction Challenge.

研究の動機と目的

• NMSのようなヒューリスティックな後処理に依存する、スパースなアンカーベースのゴール予測の限界、例えば細かい空間的詳細のモデリングが不十分であることや、後処理の依存性を是正するため。
• NMSなどのルールベースのゴール選択を排除し、エンドツーエンドで直接ゴールの集合を予測することで、その必要性をなくすため。
• 1つのサンプルに対して複数の真値の将来軌道が限られる現実を踏まえ、オフラインで最適化に基づく偽ラベル付け戦略を導入することで、マルチトラジェクトリ予測モデルの有効な訓練を可能にするため。
• レーン上の局所的な空間的変動を捉えるために、密度の高いゴール候補のサンプリングを活用することで、軌道予測の性能を向上させるため。
• 革新的なトレーニングパラダイムとアーキテクチャを用いて、ArgoverseやWaymo Open Datasetといった主要ベンチマークで最先端の性能を達成するため。

提案手法

• モデルは、HDマップと周辺エージェントからの特徴を抽出するスパースなコンテキストエンコーダーを使用する。
• 密度の高いゴールエンコーダーは、レーン中央線に密にサンプリングされた多数のゴール候補の上に確率分布を予測する。
• ゴールセット予測器は、スパースな分布から高確率のゴール集合を最終的に選択するマルチラベル予測を実行し、ヒューリスティックな後処理を置き換える。
• オフラインの最適化モデルは、オンラインモデルと同じ目的関数を用いて、密度付き確率マップからグローバルに最適なゴール集合を特定することで、マルチ将来の偽ラベルを生成する。
• オンラインモデルはこれらの偽ラベルを用いて学習され、1サンプルあたり複数の真値の将来軌道を必要としないエンドツーエンド学習が可能になる。
• 最適化アルゴリズムはオフラインで実行され、高品質なトレーニングターゲットを生成するが、実行時間は性能と効率のバランスをとるために調整される。

実験結果

リサーチクエスチョン

• RQ1 スパースなアンカーベースのゴール予測とヒューリスティックな後処理を排除することで、エンドツーエンドの軌道予測モデルが優れた性能を達成できるか？
• RQ2 最適化に基づくオフラインモデルは、オンライン予測器のトレーニングに適した高品質で多様な偽ラベルを効果的に生成できるか？
• RQ3 スパースなアンカーメソッドと比較して、密度の高いゴール候補サンプリングは、局所的な空間的変動のモデリングを改善するか？
• RQ4 ゴールセット予測器の設計は、オンラインモデルがオフライン最適化モデルの性能にどの程度近づけるか？
• RQ5 ゴールサンプリング密度と最適化時間の変更が、最終的な予測性能に与える影響はどの程度か？

主な発見

• DenseTNTはArgoverse運動予測ベンチマークで最高の性能を達成し、mADEが1.0387、mFDEが1.5514を記録した。
• 2021年Waymo Open Dataset Motion Prediction Challengeで1位を獲得し、mAPが0.3281を達成し、他のすべての手法を上回った。
• モデルの性能はオフライン最適化モデルと非常に近い結果を示し、ゴールセット予測器とトレーニングパラダイムの有効性を裏付けた。
• ゴールサンプリング密度を3.0mから0.5mに引き上げると、minFDEは1.42から1.27に低下したが、1.0mを超えるとさらなる向上はなく、飽和状態に達した。
• 1サンプルあたりの最適化時間は顕著な影響を及ぼした：100ms以内に性能が著しく向上し、200msで安定化し、500msを超えるとさらなる向上は見られなかった。
• 密度付き確率推定はスパース推定を上回り、特にゴールセット予測器と組み合わせると、NMSベースのベースラインを大きく上回った。