[論文レビュー] Uncertainty estimation for Cross-dataset performance in Trajectory prediction

Thomas Gilles, Stefano Sabatini+3 more|arXiv (Cornell University)|May 15, 2022

Autonomous Vehicle Technology and Safety被引用数 7

ひとこと要約

本稿では、予測されたヒートマップの分散を測定することで、ヒートマップベースのトラジェクトリ予測モデルに対する新たな不確実性推定手法を導入し、その不確実性を用いてサンプリングの多様性を適応させることで、クロスデータセット性能が顕著に向上することを示している。4つの主要データセット（Argoverse, NuScenes, Interaction, Shifts）における最初の包括的なクロスデータセット分析を実施し、転送可能性のパターンを明らかにするとともに、分布外設定において、学習済み分散ベースラインを上回るヒートマップベースの不確実性が優れていることを示している。

ABSTRACT

While a lot of work has been carried on developing trajectory prediction methods, and various datasets have been proposed for benchmarking this task, little study has been done so far on the generalizability and the transferability of these methods across dataset. In this paper, we observe the performance of two of the latest state-of-the-art trajectory prediction methods across four different datasets (Argoverse, NuScenes, Interaction, Shifts). This analysis allows to gain some insights on the generalizability proprieties of most recent trajectory prediction models and to analyze which dataset is more representative of real driving scenes and therefore enables better transferability. Furthermore we present a novel method to estimate prediction uncertainty and show how it could be used to achieve better performance across datasets.

研究の動機と目的

• 複数のドライブデータセットにわたる最先端のトラジェクトリ予測モデルの一般化性および転送可能性を調査すること。
• 現実のドライブシナリオを最もよく表現し、より良いモデルの転送可能性を可能にするデータセットを特定すること。
• 追加のトレーニングを必要としない、ヒートマップの分散に基づく新しい不確実性推定手法を提案すること。
• 不確実性に配慮したサンプリングが、単一およびクロスデータセット評価設定の両方で性能向上に寄与することを実証すること。
• 分布外シナリオにおいて、ヒートマップベースの不確実性と学習済み分散ベースラインの有効性を比較すること。

提案手法

• 不確実性は、予測されたヒートマップの分散として推定され、トレーニング不要のデータ駆動型手法として、予測の信頼性を定量化する。
• 線形モデルを用いて、推定された不確実性に基づき、トラジェクトリ生成の最適なサンプリング半径をキャリブレーションする。
• マルチモーダルトラジェクトリ予測のためのウィナーテイクアールス損失を用いて、4つのデータセット（Argoverse, NuScenes, Interaction, Shifts）でエンドツーエンドにモデルをトレーニングする。
• 特定の損失関数を用いてガウス分布の対数分散を予測する、学習済み不確実性ベースラインと比較する。
• トレーニングを1つのデータセットで行い、他のデータセットで評価するクロスデータセット評価を実施し、不確実性を用いてサンプリング半径を適応させる。
• 定性的な分析により、高い不確実性がヒートマップの広がりと関連し、より多様で正確な予測が得られることを検証する。

実験結果

リサーチクエスチョン

• RQ1 4つの主要なトラジェクトリ予測データセット（Argoverse, NuScenes, Interaction, Shifts）のうち、最先端モデルの一般化性および転送可能性が最も優れているのはどれか？
• RQ2 ヒートマップベースの不確実性推定は、データセット間の分布シフトに対して、学習済み分散と比較してどの程度ロバストか？
• RQ3 ヒートマップ分散から導出される不確実性は、予測トラジェクトリの多様性を効果的に適応させ、性能向上に寄与できるか？
• RQ4 不確実性に配慮したサンプリングは、固定半径サンプリングと比較して、クロスデータセット評価において一貫した性能向上をもたらすか？
• RQ5 提案された不確実性は、分布外設定における実際の予測誤差とどの程度相関しているか？

主な発見

• 提案されたヒートマップ分散に基づく不確実性推定手法は、クロスデータセット評価において、学習済み分散ベースラインを上回り、特に分布外データにおいて顕著な優位性を示した。
• トラジェクトリ生成の最適なサンプリング半径は、推定された不確実性と強い線形関係を示し、効果的な適応が可能であることがわかった。
• 不確実性を用いてサンプリングの多様性を適応させることで、すべてのクロスデータセット評価においてminFDE6に顕著な相対的改善が得られ、平均で10%以上の向上が一貫して得られた。
• スカラー出力を持つSceneTransformerは、不確実性を明示的にモデル化していないにもかかわらず、ヒートマップベース手法と同等のクロスデータセット転送可能性を達成した。
• 分析の結果、ArgoverseとNuScenesは、InteractionとShiftsよりも他のデータセットへの転送性が優れており、現実のドライブシーンをよりよく反映している可能性が示唆された。
• 定性的な結果により、高い不確実性値は広がったヒートマップと関連し、より多様で正確な予測が得られることを確認でき、不確実性測定の解釈可能性が裏付けられた。