[논문 리뷰] Task-Relevant Failure Detection for Trajectory Predictors in Autonomous Vehicles

Alec Farid, Sushant Veer외 3명|arXiv (Cornell University)|2022. 07. 25.

Autonomous Vehicle Technology and Safety인용 수 9

한 줄 요약

이 논문은 자율주행차의 궤적 예측기에서 작업에 관련된 실패 탐지기를 제안하며, 후행 계획 비용에 미치는 영향을 분석하여 유해한 예측 오류만 식별한다. 실제 계획 비용을 예측된 비용 분포와 비교하는 확률적 런타임 모니터를 사용하여, 높은 AUROC 성능을 달성하고 이론적 거짓양성 및 거짓음성 비율 보장을 통해 레이블 없이 校정 가능한 성능을 제공한다.

ABSTRACT

In modern autonomy stacks, prediction modules are paramount to planning motions in the presence of other mobile agents. However, failures in prediction modules can mislead the downstream planner into making unsafe decisions. Indeed, the high uncertainty inherent to the task of trajectory forecasting ensures that such mispredictions occur frequently. Motivated by the need to improve safety of autonomous vehicles without compromising on their performance, we develop a probabilistic run-time monitor that detects when a "harmful" prediction failure occurs, i.e., a task-relevant failure detector. We achieve this by propagating trajectory prediction errors to the planning cost to reason about their impact on the AV. Furthermore, our detector comes equipped with performance measures on the false-positive and the false-negative rate and allows for data-free calibration. In our experiments we compared our detector with various others and found that our detector has the highest area under the receiver operator characteristic curve.

연구 동기 및 목표

• 자율주행차 운동 계획에서 정확하지 않은 궤적 예측으로 인한 안전 잠재 위험을 해결하기 위해.
• 계획 비용에 심각하게 악영향을 주는 예측 오류에만 작동하는 실패 탐지기를 개발하기 위해.
• 레이블이 없는 실패 데이터를 요구하지 않고도 해석 가능한 성능 보장을(거짓양성 및 거짓음성 비율) 제공하기 위해.
• 예측 모델과 독립적으로 작동하므로 기존 AV 스택에 효율적이고 즉각적인 통합이 가능한 모듈러한 통합을 가능하게 하기 위해.
• nuScenes 및 nuPlan 데이터셋에서 기존 방법들과 비교해 뛰어난 탐지 성능을 입증하기 위해.

제안 방법

• 탐지기는 궤적 예측 기반으로 향후 계획 비용의 예측 분포를 구성한다.
• 실제 비용이 예측 비용 분포의 상위-p 퍼센트일 경우, 잠재적으로 해로운 이격을 나타내므로 실패로 식별한다.
• 통계적 경계를 사용하여 거짓양성 및 거짓음성 비율에 대한 이론적 보장을 제공하고, 데이터 없는 校정을 가능하게 한다.
• 탐지기는 예측 모델과 독립적으로 작동하므로 기존 AV 스택에 모듈러하게 통합할 수 있다.
• 성능 평가에는 ROC 곡선 아래 면적(AUROC)을 사용하며, 레이블이 없는 데이터를 바탕으로 이론적 퍼센트 분위수 선택을 통해 校정을 달성한다.
• 제안된 방법은 실제 데이터셋(nuScenes, nuPlan)에서 검증되었으며, HJ 도달 가능성, TTC, 가능도, UDT 등의 여러 기준과 비교되었다.

실험 결과

연구 질문

• RQ1 런타임 모니터는 자율주행차 안전에 실제로 해로운 궤적 예측 실패만 탐지할 수 있는가?
• RQ2 어떻게 하면 예측 모델과 독립적이면서도 작업에 관련된 실패 탐지기를 설계할 수 있는가?
• RQ3 레이블이 없는 실패 데이터를 요구하지 않고도 성능 보장(FPR 및 FNR)을 제공할 수 있는가?
• RQ4 데이터 없는 校정이 최적의 校정 탐지기 성능에 얼마나 가까운가?
• RQ5 실제 주행 시나리오에서 제안된 탐지기는 기존 방법들과 비교해 AUROC 및 탐지 품질 측면에서 어떻게 성과를 내는가?

주요 결과

• 제안된 탐지기는 비교된 모든 방법들 중에서 최고의 ROC 곡선 아래 면적(AUROC)을 달성하여 뛰어난 탐지 성능을 입증한다.
• 데이터 없는 校정 탐지기의 AUROC는 최적으로 校정된 탐지기와 매우 유사하여, 레이블이 없는 환경에서도 뛰어난 실용적 효과를 입증한다.
• 에이전트 차량의 경로로 돌연 진입하는 보행자와 같은 핵심 시나리오를 성공적으로 식별하며, 유해하지 않은 예측 오류에 대해서는 거짓 경고를 방지한다.
• 가능도나 HJ 도달 가능성과 같은 방법들은 정확한 예측에 대해서도 다수의 거짓 양성 결과를 내놓는 반면, 제안된 방법은 이를 효과적으로 걸러낸다.
• 특히 횡단보도 상호작용과 같은 복잡한 시나리오에서 UDT, PDT, HJ 도달 가능성보다도 태스크 관련 실패를 더 잘 탐지한다.
• 실험 결과 탐지기는 낮은 거짓양성 및 거짓음성 비율을 유지하며, 이론적 경계와 관측된 성능이 매우 유사함을 보였다.