[논문 리뷰] What Truly Matters in Trajectory Prediction for Autonomous Driving?

Tran, Phong, Haoran Wu외 4명|arXiv (Cornell University)|2023. 06. 27.

Autonomous Vehicle Technology and Safety인용 수 8

한 줄 요약

본 논문은 데이터셋 예측과 실제 주행 간의 다이나믹스 격차와 예측기 계산 시간이 예측 정확도와 주행 성능 간의 차이를 대부분 설명하며, 인터랙티브하고 과제 주도형 평가를 제안한다.

ABSTRACT

Trajectory prediction plays a vital role in the performance of autonomous driving systems, and prediction accuracy, such as average displacement error (ADE) or final displacement error (FDE), is widely used as a performance metric. However, a significant disparity exists between the accuracy of predictors on fixed datasets and driving performance when the predictors are used downstream for vehicle control, because of a dynamics gap. In the real world, the prediction algorithm influences the behavior of the ego vehicle, which, in turn, influences the behaviors of other vehicles nearby. This interaction results in predictor-specific dynamics that directly impacts prediction results. In fixed datasets, since other vehicles' responses are predetermined, this interaction effect is lost, leading to a significant dynamics gap. This paper studies the overlooked significance of this dynamics gap. We also examine several other factors contributing to the disparity between prediction performance and driving performance. The findings highlight the trade-off between the predictor's computational efficiency and prediction accuracy in determining real-world driving performance. In summary, an interactive, task-driven evaluation protocol for trajectory prediction is crucial to capture its effectiveness for autonomous driving. Source code along with experimental settings is available online.

연구 동기 및 목표

• 정적 평가 지표(ADE/FDE)가 다운스트림 AD 작업에서 주행 성능을 예측하지 못한다는 점을 보여준다.
• 예측기 영향 하의 자이로-차량 행동과 환경 반응 간의 다이나믹스 격차의 영향을 정량화한다.
• 정확도 외의 요소들, 특히 인터랙티브 시뮬레이션에서의 계산 효율성을 주행 성능에 미치는 영향을 평가한다.
• 궤적 예측과 다운스트럼 주행 결과를 일치시키는 인터랙티브하고 과제 주도형 평가 프로토콜을 제안한다.

제안 방법

• 예측기의 정책으로 작동하는 계획-인식 MDP로 모션 예측을 모델링한다.
• 실제 세계 플래너 전이와 데이터셋 플래너 전이 사이의 다이나믹스 격차 G = T1* − T1hat를 정의하고 측정한다.
• 고정된 예측 또는 계획 예산 하에서 두 플래너(RVO 및 DESPOT)로 예측기를 평가하는 SUMMIT 기반의 인터랙티브 시뮬레이터를 사용한다.
• 정적 지표(ADE/minADE)와 동적 ADE 및 주행 성능 지표(안전성, 효율성, 편안함)를 폐루프 평가에서 비교한다.
• 예측의 비대칭성, 다중 모드성, 가림, 특히 다이나믹스 격차가 예측-주행 상관관계에 미치는 영향을 분석한다.
• 주행 성능에 영향을 미치는 중요한 요인으로 예측 계산 시간을 평가하고, 속도-정확도 간의 trade-off를 강조한다.

실험 결과

연구 질문

• RQ1 현재의 정적 궤적 예측 평가(ADE/FDE)가 자율주행 파이프라인에서 실제 주행 성능과 상관관계가 있는가?
• RQ2 예측 정확도와 주행 성능 간의 차이가 발생하는 주요 요인은 무엇인가?
• RQ3 다이나믹스 격차와 계산 효율성이 인터랙티브하고 과제 주도형 평가에서 주행 성능에 어떤 영향을 미치는가?
• RQ4 인터랙티브하고 계획 인식적인 평가 프로토콜이 궤적 예측기의 실제 세계 적용 가능성을 더 잘 반영할 수 있는가?

주요 결과

• 정적 ADE 및 minADE가 인터랙티브 계획에서 주행 성능과의 상관관계가 제한적이며, 일부는 오도하는 양의 추세를 보인다.
• 인터랙티브 시뮬레이터의 동적 ADE가 주행 성능과 훨씬 강하게 상관관계를 보이며, 다이나믹스 격차가 지배적인 요인임을 시사한다.
• 정량적 결과: 다이나믹스 격차가 정적 ADE와 주행 성능 사이의 불일치의 77.0%를 RVO 플래너에서, 70.3%를 DESPOT 플래너에서 설명한다.
• 다이나믹스 격차를 넘어서, 예측의 비대칭성, 다중 모드 예측, 가림도 정확도-주행 성능 관계에 영향을 주지만 그 영향은 상대적으로 작다.
• 예측기의 계산 효율성은 특히 더 높은 플래닝 틱 속도에서 주행 성능에 상당한 영향을 미치며, 속도와 정확도 간의 중요한 트레이드오프를 시사한다.
• 전반적으로 주행 성능은 다이나믹한 예측 정확도와 계산 간의 트레이드오프에 의해 좌우되며, 과제 주도형 평가의 필요성을 정당화한다.