[論文レビュー] Task-Relevant Failure Detection for Trajectory Predictors in Autonomous Vehicles

Alec Farid, Sushant Veer+3 more|arXiv (Cornell University)|Jul 25, 2022

Autonomous Vehicle Technology and Safety被引用数 9

ひとこと要約

本稿では、自律走行車両の軌道予測器におけるタスク関連の障害検出器を提案する。この検出器は、下流の計画コストに与える影響を分析することで、有害な予測誤差のみを特定する。実行時確率的モニタを用い、実際の計画コストと予測されたコスト分布を比較することで、高いAUROCを達成し、理論的偽陽性率および偽陰性率の保証を伴うデータフリーなキャリブレーションを可能にする。

ABSTRACT

In modern autonomy stacks, prediction modules are paramount to planning motions in the presence of other mobile agents. However, failures in prediction modules can mislead the downstream planner into making unsafe decisions. Indeed, the high uncertainty inherent to the task of trajectory forecasting ensures that such mispredictions occur frequently. Motivated by the need to improve safety of autonomous vehicles without compromising on their performance, we develop a probabilistic run-time monitor that detects when a "harmful" prediction failure occurs, i.e., a task-relevant failure detector. We achieve this by propagating trajectory prediction errors to the planning cost to reason about their impact on the AV. Furthermore, our detector comes equipped with performance measures on the false-positive and the false-negative rate and allows for data-free calibration. In our experiments we compared our detector with various others and found that our detector has the highest area under the receiver operator characteristic curve.

研究の動機と目的

• 自律走行車両の運動計画における不正確な軌道予測が引き起こす安全上のリスクに対処すること。
• 計画コストに著しく悪影響を及ぼす予測誤差のみに反応する障害検出器を開発することにより、タスクの関連性を確保すること。
• ラベル付き障害データを必要とせず、偽陽性率および偽陰性率の解釈可能な性能保証を提供すること。
• 予測モデルに依存しない独立した検出器設計により、既存のAVスタックへの効率的かつプラグアンドプレイな統合を可能にすること。
• nuScenesおよびnuPlanデータセットにおいて、既存手法と比較して優れた検出性能を示すこと。

提案手法

• 検出器は、軌道予測に基づいて将来の計画コストの予測分布を構築する。
• 実際のコストが予測されたコスト分布の上位-pパーセンタイルに位置する場合に障害を特定する。これは、有害な逸脱が生じている可能性を示している。
• 統計的境界を用いて、偽陽性率および偽陰性率に対する理論的保証を提供し、データフリーなキャリブレーションを可能にする。
• 検出器は予測モデルとは独立して動作するため、既存のAVスタックへのモジュラー統合が可能である。
• 性能は受信器特性曲線下の面積（AUROC）を用いて評価され、ラベルなしデータを用いた理論的分位点選択によりキャリブレーションが達成される。
• 本手法は、実世界のデータセット（nuScenes、nuPlan）上で検証され、HJ到達可能性、TTC、尤度、UDTなど複数のベースラインと比較されている。

実験結果

リサーチクエスチョン

• RQ1 実行時モニタは、自律走行車両の安全性に本当に有害な軌道予測障害のみを検出できるか？
• RQ2 予測モデルに依存しない一方で、タスク関連性を保つ障害検出器はどのように設計できるか？
• RQ3 ラベル付き障害データを必要とせず、偽陽性率および偽陰性率の性能保証を提供できるか？
• RQ4 データフリーなキャリブレーションは、最適にキャリブレートされた検出器の性能にどの程度近づけるか？
• RQ5 実世界の走行シナリオにおいて、提案手法のAUROCおよび検出品質は、既存手法と比較してどの程度優れているか？

主な発見

• 提案手法は、比較されたすべての手法の中で最高の受信器特性曲線下の面積（AUROC）を達成しており、優れた検出性能を示している。
• データフリーでキャリブレートされた検出器のAUROCは、最適にキャリブレートされた検出器と非常に近い値を示しており、ラベル付きデータなしで強力な実用的効果を発揮していることを裏付けている。
• 検出器は、エゴ車両の進行方向に突然歩行者が現れるような重要なシナリオを的確に特定している一方で、無害な予測誤差に対しては誤検出を回避している。
• 尤度やHJ到達可能性といった手法は、正確な予測に対しても多数の偽陽性を発生させるが、本手法はこれらを効果的にフィルタリングしている。
• 特に横断歩道での相互作用のような複雑なシナリオにおいて、UDT、PDT、HJ到達可能性よりも、タスク関連の障害を優れて検出している。
• 実験的結果から、検出器は偽陽性率および偽陰性率が低く抑えられており、理論的境界値と観測された性能が密接に一致していることが示された。