[논문 리뷰] Uncertainty estimation for Cross-dataset performance in Trajectory prediction

Thomas Gilles, Stefano Sabatini외 3명|arXiv (Cornell University)|2022. 05. 15.

Autonomous Vehicle Technology and Safety인용 수 7

한 줄 요약

이 논문은 예측된 히트맵의 산포도를 측정하여 히트맵 기반 궤도 예측 모델의 불확실성 추정 방법을 제안하며, 이 불확실성을 활용해 샘플링 다양성을 조정하면 교차 데이터셋 성능이 크게 향상됨을 입증한다. 이는 Argoverse, NuScenes, Interaction, Shifts 네 가지 주요 데이터셋에 걸쳐 처음으로 종합적인 교차 데이터셋 분석을 수행하며, 이전에 알려지지 않은 전이 패턴을 규명하고, 분포 이탈 상황에서 학습된 분산 기반 기준 모델보다 히트맵 기반 불확실성 추정이 우수함을 보여준다.

ABSTRACT

While a lot of work has been carried on developing trajectory prediction methods, and various datasets have been proposed for benchmarking this task, little study has been done so far on the generalizability and the transferability of these methods across dataset. In this paper, we observe the performance of two of the latest state-of-the-art trajectory prediction methods across four different datasets (Argoverse, NuScenes, Interaction, Shifts). This analysis allows to gain some insights on the generalizability proprieties of most recent trajectory prediction models and to analyze which dataset is more representative of real driving scenes and therefore enables better transferability. Furthermore we present a novel method to estimate prediction uncertainty and show how it could be used to achieve better performance across datasets.

연구 동기 및 목표

• 다양한 주행 데이터셋 간 최신 궤도 예측 모델의 일반화 능력과 전이 가능성에 대해 조사한다.
• 실제 주행 시나리오를 가장 잘 대변하고 모델 전이성을 향상시키는 데 가장 적합한 데이터셋을 평가한다.
• 추가 학습이 필요 없는, 히트맵의 산포도에 기반한 새로운 불확실성 추정 방법을 제안한다.
• 불확실성 인식 샘플링이 단일 및 교차 데이터셋 평가 환경 모두에서 성능 향상에 어떻게 기여하는지 입증한다.
• 분포 이탈 상황에서 히트맵 기반 불확실성과 학습된 분산 기반 기준 모델 간의 효과성을 비교한다.

제안 방법

• 불확실성은 예측된 히트맵의 분산으로 추정되며, 학습이 필요 없는 데이터 기반 방법으로 예측 신뢰도를 정량화한다.
• 선형 모델을 사용해 추정된 불확실성에 기반해 궤도 생성을 위한 최적의 샘플링 반경을 校정한다.
• 다중 모드 궤도 예측을 위해 워너-테이크-all 손실 함수를 사용해 네 데이터셋(Argoverse, NuScenes, Interaction, Shifts)에서 엔드 투 엔드로 모델을 학습한다.
• 특정 손실 함수를 사용해 가우시안 분포의 로그 분산을 예측하는 학습된 불확실성 기준 모델과 비교한다.
• 한 데이터셋에서 학습하고 다른 데이터셋에서 평가하는 방식으로 교차 데이터셋 평가를 수행하며, 샘플링 반경은 불확실성 기반으로 조정한다.
• 정성적 분석을 통해 높은 불확실성일수록 히트맵의 산포도가 증가하고, 더 다양한 정확한 예측이 이루어짐을 확인한다.

실험 결과

연구 질문

• RQ1 네 가지 주요 궤도 예측 데이터셋(Argoverse, NuScenes, Interaction, Shifts) 중에서 최신 모델의 일반화 및 전이 가능성 측면에서 가장 우수한 성능을 보이는 것은 무엇인가?
• RQ2 히트맵 기반 불확실성 추정 방식이 데이터셋 간 분포 이탈에 대해 학습된 분산 기반 기준 모델보다 얼마나 강건한가?
• RQ3 히트맵 분산에서 유도된 불확실성을 효과적으로 활용해 예측 궤도의 다양성을 조정하고 성능 향상에 기여할 수 있는가?
• RQ4 불확실성 인식 샘플링은 고정 반경 기반 샘플링 대비 교차 데이터셋 평가에서 일관된 성능 향상을 이끌어낼 수 있는가?
• RQ5 제안된 불확실성은 분포 이탈 상황에서 실제 예측 오차와 얼마나 잘 상관되는가?

주요 결과

• 제안된 히트맵 분산 기반 불확실성 추정 방법은 교차 데이터셋 평가에서 학습된 분산 기반 기준 모델보다 우수한 성능을 보이며, 특히 분포 이탈 데이터에서 두드러진 성능 향상을 보였다.
• 궤도 생성을 위한 최적의 샘플링 반경은 추정된 불확실성과 강한 선형 관계를 보이며, 효과적인 적응이 가능함을 확인했다.
• 불확실성을 활용해 샘플링 다양성을 조정하면 모든 교차 데이터셋 평가에서 minFDE6에 상대적으로 높은 향상이 이루어졌으며, 평균적으로 10퍼센트 이상의 개선이 지속적으로 관찰되었다.
• 스칼라 출력 모델인 SceneTransformer는 불확실성을 명시적으로 모델링하지 않음에도 불구하고, 히트맵 기반 방법과 유사한 교차 데이터셋 전이 능력을 확보했다.
• 분석 결과, Argoverse와 NuScenes는 Interaction과 Shifts보다 더 우수한 전이 능력을 보이며, 실제 주행 환경을 더 잘 반영하고 있음을 시사한다.
• 정성적 결과는 높은 불확실성 값이 더 넓은 히트맵과 더 다양한 정확한 예측을 유도함을 확인하며, 불확실성 측정의 해석 가능성과 타당성을 입증했다.