[논문 리뷰] Rethinking Trajectory Forecasting Evaluation

Boris Ivanovic, Marco Pavone|arXiv (Cornell University)|2021. 07. 21.

Autonomous Vehicle Technology and Safety참고 문헌 31인용 수 8

한 줄 요약

이 논문은 궤적 예측을 평가하기 위해 임의의 작업에 민감한 평가 지표를 제안하며, 기존의 정확도 기반 지표(예: ADE, FDE)가 예측 결과의 실제 세계에서의 비대칭성을 반영하지 못한다고 주장한다. 본 논문은 후행 계획 수립에 대한 민감도를 기반으로 한 계획 인식 지표(piADE/piFDE)를 도입하여, 실험을 통해 지표상 동일한 예측이 후행 계획 수립에 매우 다른 영향을 미칠 수 있음을 보여준다. 특히, 동일한 ADE/FDE 점수를 기록함에도 불구하고 한 예측은 계획 수립 민감도를 25% 증가시키는 것으로 나타났다.

ABSTRACT

Forecasting the behavior of other agents is an integral part of the modern robotic autonomy stack, especially in safety-critical scenarios with human-robot interaction, such as autonomous driving. In turn, there has been a significant amount of interest and research in trajectory forecasting, resulting in a wide variety of approaches. Common to all works, however, is the use of the same few accuracy-based evaluation metrics, e.g., displacement error and log-likelihood. While these metrics are informative, they are task-agnostic and predictions that are evaluated as equal can lead to vastly different outcomes, e.g., in downstream planning and decision making. In this work, we take a step back and critically evaluate current trajectory forecasting metrics, proposing task-aware metrics as a better measure of performance in systems where prediction is being deployed. We additionally present one example of such a metric, incorporating planning-awareness within existing trajectory forecasting metrics.

연구 동기 및 목표

• 표준 궤적 예측 평가 지표의 한계를 해결하기 위해, 이는 작업에 무관하며 예측 오류의 실제 세계적 영향을 반영하지 못한다.
• 동일한 정확도 점수를 기록하는 예측이라도 후행 계획 수립 및 의사결정 과정에서 극명히 다른 결과를 초래할 수 있음을 강조한다.
• 예측의 영향력이 실제 시스템 행동에 미치는 영향을 반영하는 작업 인식 평가 프레임워크를 제안한다.
• 후행 계획 수립에 대한 기울기 기반 민감도를 활용한 계획 인식 지표의 구체적 구현을 시연한다.
• 자율주행 시스템의 평가 및 훈련 파이프라인에 작업 인식 지표를 통합할 것을 주장한다.

제안 방법

• 예측에 대한 계획 비용의 기울기(민감도)를 통합하여 표준 정확도 지표를 수정하는 계획 인식 지표(piADE/piFDE)를 제안한다.
• 자기차량의 비용 함수에 대한 예측 궤적의 기울기 크기(민감도)를 자동 미분을 통해 계산한다.
• 예측 오류에 대한 자기차량 계획의 민감도를 기반으로 가중치 함수 f(a,g)를 적용하여 지표를 스케일링한다. 여기서 g는 계획 민감도를 의미한다.
• 일반화된 운동 계획 설정을 사용하여, 원형 운동 역학과 라디얼 기저 함수 충돌 항목을 갖는 Gym 환경에서 사전 훈련된 정책을 적용한다.
• CIOC를 사용하여 롤아웃에서 비용 함수 가중치 θ를 학습함으로써 지표의 엔드 투 엔드 미분 가능성을 확보한다.
• 높은 계획 민감도(예: 정면 충돌) 및 낮은 민감도(예: 먼 거리의 차량)의 시나리오에서 지표를 검증하여 일관된 행동을 보였다.

실험 결과

연구 질문

• RQ1 ADE 및 FDE와 같은 표준 궤적 예측 지표가 예측 결과의 실제 세계에서의 비대칭성을 어떻게 반영하지 못하는가?
• RQ2 계획 민감도는 예측 오류의 후행 영향을 어느 정도 대체로 사용할 수 있는가?
• RQ3 후행 계획 수립에 영향을 미치는 진정한 영향력을 반영하는 기울기 기반, 계획 인식 지표를 구성할 수 있는가?
• RQ4 지표상 동일한 예측이 자기차량의 계획 수립에 미치는 영향은 어떻게 다를 수 있으며, 이를 정량화할 수 있는가?
• RQ5 이러한 지표는 평가 외에도 예측 모델의 훈련을 이끄는 데 사용될 수 있는가?

주요 결과

• ADE(0.075)와 FDE(0.15) 점수가 동일한 두 예측에서 계획 민감도는 각각 0.90(purple)과 0.21(green)로 나타나, 이는 보다 높은 후행 영향을 미치는 것을 시사한다.
• 지표상 동일한 원시 점수를 기록함에도 불구하고, 민감도가 높은 예측(Purple)의 계획 인식 지표(piADE/piFDE)는 25% 증가하였다.
• 영향력이 낮은 시나리오(예: 먼 거리의 차량)에서는 계획 민감도가 거의 0에 가까웠고, piADE/piFDE 값은 표준 ADE/FDE와 일치하여 메트릭의 타당성을 검증하였다.
• 지표는 예측이 자기차량의 경로로 진입하는 경우보다 경로를 벗어나는 경우보다 훨씬 더 큰 영향을 미친다는 점을 성공적으로 식별하였다. 이는 기하학적 오차가 동일한 상황에서도 성립한다.
• 제안된 지표는 완전히 기울기 기반으로 구성되어 있어, 훈련 파이프라인에 통합되어 후행 계획 성능 최적화를 위한 활용이 가능하다.
• 결과적으로 작업에 무관한 지표가 안전성 및 운동 계획 수립에 영향을 미치는 예측 품질의 근본적인 차이를 가리킬 수 있음을 입증하였다.