[논문 리뷰] DenseTNT: End-to-end Trajectory Prediction from Dense Goal Sets

Junru Gu, Chen Sun외 1명|arXiv (Cornell University)|2021. 08. 22.

Autonomous Vehicle Technology and Safety참고 문헌 39인용 수 18

한 줄 요약

DenseTNT는 밀도 높은 목표 확률을 예측하고 최적의 목표 집합을 최적화 기반 텍스트 레이블링을 통해 선택함으로써 다양한 고카버리지 미래 경로를 생성하는 앵커 기반, 엔드 투 엔드 경로 예측 모델을 제안한다. 이는 최신 기술 수준의 성능을 달성하여 Argoverse 벤치마크에서 1위를 기록했고, 2021년 Waymo Open Dataset 운동 예측 챌린지에서 우승하였다.

ABSTRACT

Due to the stochasticity of human behaviors, predicting the future trajectories of road agents is challenging for autonomous driving. Recently, goal-based multi-trajectory prediction methods are proved to be effective, where they first score over-sampled goal candidates and then select a final set from them. However, these methods usually involve goal predictions based on sparse pre-defined anchors and heuristic goal selection algorithms. In this work, we propose an anchor-free and end-to-end trajectory prediction model, named DenseTNT, that directly outputs a set of trajectories from dense goal candidates. In addition, we introduce an offline optimization-based technique to provide multi-future pseudo-labels for our final online model. Experiments show that DenseTNT achieves state-of-the-art performance, ranking 1st on the Argoverse motion forecasting benchmark and being the 1st place winner of the 2021 Waymo Open Dataset Motion Prediction Challenge.

연구 동기 및 목표

• 다중 경로 예측에서 희박한 앵커 기반 목표 예측의 한계를 해결하기 위해, 세밀한 공간적 세부 사항의 모델링 부족과 NMS와 같은 히ュ리스틱 후처리에 의존하는 문제를 해결하기 위함.
• NMS와 같은 규칙 기반 목표 선택이 필요 없도록, 엔드 투 엔드 방식으로 목표 집합을 직접 예측함으로써 이를 제거하기 위함.
• 다중 미래 진짜 데이터의 부족함에도 효과적인 학습을 가능하게 하기 위해 오프라인 최적화 기반 텍스트 레이블링 전략을 도입함으로써 다중 경로 예측 모델의 훈련을 개선하기 위함.
• 차선 상의 국소적 공간 변동을 잘 포착할 수 있도록 밀도 높은 목표 후보 샘플링을 활용하여 경로 예측 성능을 향상시키기 위함.
• 새로운 훈련 파라다임과 아키텍처를 통해 주요 벤치마크인 Argoverse와 Waymo Open Dataset에서 최신 기술 수준의 성능을 달성하기 위함.

제안 방법

• 모델은 고해상도 지도와 주변 에이전트의 특징을 추출하기 위해 희박한 컨텍스트 인코더를 사용한다.
• 밀도 높은 목표 인코더는 차선 중심선 상에 밀도 높게 샘플링된 목표 후보 전체에 대해 확률 분포를 예측한다.
• 목표 집합 예측기는 밀도 높은 분포에서 고확률 목표 집합을 다중 레이블 예측을 통해 선택하여 히ュ리스틱 후처리를 대체한다.
• 오프라인 최적화 모델은 동일한 목적 함수를 사용하여 밀도 높은 확률 맵에서 전역적으로 최적의 목표 집합을 찾음으로써 다중 미래 텍스트 레이블을 생성한다.
• 온라인 모델은 이러한 텍스트 레이블을 사용하여 훈련되며, 각 샘플에 대해 다중 진짜 미래가 필요 없이 엔드 투 엔드 학습이 가능해진다.
• 최적화 알고리즘은 오프라인으로 실행되어 고품질의 훈련 타겟을 생성하며, 런타임은 성능과 효율성의 균형을 맞추기 위해 조정된다.

실험 결과

연구 질문

• RQ1 희박한 앵커 기반 목표 예측과 히ュ리스틱 후처리를 제거함으로써 엔드 투 엔드 경로 예측 모델이 우수한 성능을 달성할 수 있는가?
• RQ2 최적화 기반 오프라인 모델이 고품질이고 다양한 텍스트 레이블을 효과적으로 생성하여 온라인 경로 예측기의 훈련에 기여하는가?
• RQ3 희박한 앵커 방법에 비해 밀도 높은 목표 후보 샘플링이 세밀한 공간적 변동을 더 잘 모델링하는가?
• RQ4 목표 집합 예측기의 설계가 온라인 모델이 오프라인 최적화 모델의 성능을 얼마나 잘 따라올 수 있는가?
• RQ5 목표 샘플링 밀도와 최적화 시간이 최종 예측 성능에 어떤 영향을 미치는가?

주요 결과

• DenseTNT는 Argoverse 운동 예측 벤치마크에서 mADE 1.0387, mFDE 1.5514로 최고 성능을 기록하였다.
• 2021년 Waymo Open Dataset 운동 예측 챌린지에서 1위를 차지하여 mAP 0.3281을 달성하였으며, 모든 다른 방법들을 압도하였다.
• 모델의 성능은 오프라인 최적화 모델과 매우 유사하여, 목표 집합 예측기와 훈련 파라다임의 효과성을 입증하였다.
• 목표 샘플링 밀도를 3.0m에서 0.5m로 증가시켰을 때 minFDE는 1.42에서 1.27로 감소하였고, 1.0m 이상에서는 더 이상 향상되지 않아 포화 상태에 도달함을 시사하였다.
• 샘플당 최적화 시간은 성능에 큰 영향을 미쳤다: 100ms 이내로 빠르게 향상되었고, 200ms 이후로는 안정화되었으며, 500ms 이상에서는 추가로 향상되지 않았다.
• 밀도 높은 확률 추정은 희박한 추정보다 우수했으며, 특히 목표 집합 예측기와 조합했을 때 NMS 기반 기준선을 크게 뛰어넘었다.