[論文レビュー] Rethinking Trajectory Forecasting Evaluation

Boris Ivanovic, Marco Pavone|arXiv (Cornell University)|Jul 21, 2021

Autonomous Vehicle Technology and Safety参考文献 31被引用数 8

ひとこと要約

本論文は、軌道予測のためのタスクに配慮した評価指標を提案し、ADE や FDE のような標準的な精度ベースの指標が、予測結果の現実世界における非対称性を捉えていないと主張している。本研究では、下流の計画に与える影響を勾配に基づいて感度評価する計画に配慮した指標（piADE/piFDE）を導入し、実験により、指標上は同等の予測でも、運動計画に与える影響が著しく異なることが示された。特に、同じ ADE/FDE スコアを示しても、1つの予測は計画の感度を25%向上させる結果となった。

ABSTRACT

Forecasting the behavior of other agents is an integral part of the modern robotic autonomy stack, especially in safety-critical scenarios with human-robot interaction, such as autonomous driving. In turn, there has been a significant amount of interest and research in trajectory forecasting, resulting in a wide variety of approaches. Common to all works, however, is the use of the same few accuracy-based evaluation metrics, e.g., displacement error and log-likelihood. While these metrics are informative, they are task-agnostic and predictions that are evaluated as equal can lead to vastly different outcomes, e.g., in downstream planning and decision making. In this work, we take a step back and critically evaluate current trajectory forecasting metrics, proposing task-aware metrics as a better measure of performance in systems where prediction is being deployed. We additionally present one example of such a metric, incorporating planning-awareness within existing trajectory forecasting metrics.

研究の動機と目的

• 標準的な軌道予測指標の限界に対処すること。これらの指標はタスクに依存せず、予測誤差の現実世界での影響を反映していない。
• 同じ精度スコアを示す予測でも、下流の計画や意思決定において著しく異なる結果をもたらす可能性を強調すること。
• 予測がシステム行動に与える実際の影響を反映する、タスクに配慮した評価フレームワークを提案すること。
• 下流の計画に対する勾配に基づく感度を用いて、計画に配慮した指標の具象的実装を示すこと。
• 自律システムの評価および学習パイプラインに、タスクに配慮した指標を統合するよう提言すること。

提案手法

• 予測の計画コストに対する勾配を組み込むことで、標準的な精度指標を改良する計画に配慮した指標（piADE/piFDE）を提案する。
• 自動微分を用いて、エゴ車両のコスト関数が予測されたエージェント軌道に対してどのように感度を示すかを計算する。
• 感度 g に基づいて重み関数 f(a,g) を適用し、エゴ車両の計画が予測誤差に対してどれほど感度が高いかに応じて指標をスケーリングする。
• ユニクループ運動モデルとラジアル基底関数を用いた衝突項を備えた、Gym環境における事前学習済みポリシーを用いた微分可能運動計画設定を採用する。
• CIOC を用いてロールアウトからコスト関数の重み θ を学習し、指標のエンドツーエンド微分可能化を実現する。
• 高感度（例：正面衝突）および低感度（例：遠く離れたエージェント）のシナリオで指標を検証し、一貫性のある挙動を示した。

実験結果

リサーチクエスチョン

• RQ1 ADE や FDE のような標準的な軌道予測指標は、予測結果の現実世界における非対称性をどのように反映していないのか？
• RQ2 計画感度は、軌道予測誤差の下流への影響をどの程度適切に代理できるのか？
• RQ3 微分可能で計画に配慮した指標を構築できるか？ その指標は予測が運動計画に与える真の影響を反映できるか？
• RQ4 指標上は同等の予測でも、エゴ車両の計画に与える影響にどのような差異が生じるか？ その差異は定量的に測定可能か？
• RQ5 このような指標は評価にとどまらず、予測モデルの学習を指すのにも利用可能か？

主な発見

• ADE（0.075）と FDE（0.15）のスコアが同一の2つの予測において、計画感度はそれぞれ 0.90（紫色）と 0.21（緑色）であり、前者の予測がより高い下流への影響を持つことが示された。
• 指標上は同一のスコアを示しても、感度が高い予測（紫色）に対して piADE/piFDE は25%向上した。
• 低影響度のシナリオ（例：遠く離れたエージェント）では計画感度はほぼゼロであり、piADE/piFDE の値は標準的な ADE/FDE と一致した。これは、本手法の妥当性を確認するための sanity check として有効であった。
• 指標は、エゴ車両の進行方向に予測がずれ込む場合、逸らす場合よりもはるかに大きな計画への影響を持つことを正しく同定した。これは、幾何的誤差が同一であっても成立する。
• 提案された指標は完全に微分可能であり、将来的には下流の計画性能を最適化するための学習パイプラインへの統合が可能である。
• 結果から、タスクに依存しない指標は、安全や運動計画に影響を及ぼす予測品質の重要な差異を隠蔽している可能性があることが示された。