[논문 리뷰] DenseTNT: Waymo Open Dataset Motion Prediction Challenge 1st Place Solution

Junru Gu, Qiao Sun외 1명|arXiv (Cornell University)|2021. 06. 27.

Autonomous Vehicle Technology and Safety참고 문헌 13인용 수 14

한 줄 요약

DenseTNT는 고밀도 목표 확률 추정 방법을 사용하여 자율주행에서 다중 궤적 예측을 위한 앵커 기반, 고밀도 목표 확률 추정 기법을 제안한다. 이는 주로 인지 기반 특징 인코딩을 사용하여 고밀도 지도 상의 목표 분포를 예측한다. 이는 최신 기술 수준의 성능을 달성하였으며, Waymo Open Dataset Motion Prediction Challenge에서 mAP 0.3281로 1위를 기록하였다.

ABSTRACT

In autonomous driving, goal-based multi-trajectory prediction methods are proved to be effective recently, where they first score goal candidates, then select a final set of goals, and finally complete trajectories based on the selected goals. However, these methods usually involve goal predictions based on sparse predefined anchors. In this work, we propose an anchor-free model, named DenseTNT, which performs dense goal probability estimation for trajectory prediction. Our model achieves state-of-the-art performance, and ranks 1st on the Waymo Open Dataset Motion Prediction Challenge. Project page is at https://github.com/Tsinghua-MARS-Lab/DenseTNT.

연구 동기 및 목표

• 기존의 희박하고 히우리스틱으로 정의된 목표 앵커의 한계를 해결한다.
• 도로 표면과 주차 공간 전역에서 세밀한 고밀도 목표 추정을 가능하게 하여 궤적 예측 성능을 향상시킨다.
• 사전 정의된 앵커 품질에 대한 의존도를 제거하기 위해 모든 가능한 목표 위치에 대한 연속적 확률 분포를 모델링한다.
• 한 위치에 대해 다중 궤적 예측을 가능하게 하기 위해 하나의 앵커가 하나의 목표에 대응하는 제약 조건을 제거한다.
• 엔드 투 엔드 고밀도 목표 추정 및 궤적 완성 기반으로 Waymo Open Dataset Motion Prediction Challenge에서 뛰어난 성능을 달성한다.

제안 방법

• 고밀도 지도와 에이전트로부터 희박한 시나리오 컨텍스트 특징을 추출하기 위해 벡터 기반 인코딩을 사용한다. 이는 차선과 차량을 다각형선으로 표현한다.
• 고밀도 목표 인코딩 모듈을 구현하여 도로와 주차 공간 전역에서 1m 간격으로 목표를 샘플링하고, 후보 목표 위치의 고밀도 세트를 생성한다.
• 각 목표와 지도 요소(차선, 에이전트) 사이의 국소적 컨텍스트 특징을 계산하기 위해 어텐션 메커니즘을 적용한다. 이는 학습된 가중치를 사용한 쿼리/키/밸류 변환을 사용한다.
• 학습된 점수에 대해 미분 가능한 소프트맥스를 적용하여 목표 확률을 예측한다. 각 목표의 점수는 2층의 MLP를 사용해 2차원 좌표 기반으로 계산된다.
• 예측된 목표 점수와 진짜 목표 점수 간의 이진 교차 엔트로피 손실을 사용하여 모델을 훈련한다. 가장 가까운 진짜 목표는 1로, 나머지는 0으로 레이블링된다.
• 상위-K개의 확률이 높은 목표를 선택하기 위해 비최대 억제(NMS)를 적용하고, 이를 궤적 생성 모듈을 통해 전체 궤적을 완성한다.

실험 결과

연구 질문

• RQ1 고밀도, 앵커 기반 아님 목표 확률 추정이 다중 궤적 예측에서 희박한 앵커 기반 방법보다 우월한가?
• RQ2 각 목표 주변의 세밀한 국소적 컨텍스트를 모델링하면 희박한 앵커 샘플링 대비 정확도가 향상되는가?
• RQ3 어텐션 기반 고밀도 인코딩 메커니즘은 목표와 지도 요소 간의 구조적 및 공간적 관계를 효과적으로 포착할 수 있는가?
• RQ4 표준 벤치마크인 Argoverse와 Waymo에서 고밀도 목표 추정의 성능는 희박한 앵커 기반 방법과 비교해 어떻게 되는가?
• RQ5 제안된 방법은 운전차량, 보행자, 자전거 등 운동 패턴이 다른 다양한 에이전트 유형에 대해 일반화 가능한가?

주요 결과

• DenseTNT는 Waymo Open Dataset Motion Prediction Challenge에서 mAP 0.3281을 기록하여 10개의 상위 참가자 중 1위를 차지하였다.
• Argoverse Forecasting 검증 세트에서 고밀도 모델은 minFDE를 희박한 기준선의 1.35에서 1.28로 감소시키고, Miss Rate를 9.5%에서 8.2%로 감소시켰다.
• 차량에 대해 mAP 0.3698, 보행자에 대해 0.3342, 자전거에 대해 0.2802를 기록하여 다양한 에이전트 유형에 대한 강력한 일반화 능력을 입증하였다.
• 정성적 결과에서는 직진, 좌/우회전, U턴 등 다양한 예측이 가능하며, 고밀도 목표 확률이 다중모달 행동을 잘 포착하고 있음을 보여주었다.
• 절단 분석 결과 고밀도 목표 추정이 희박한 앵커 기반 방법 대비 성능 향상을 이끌어내며, 각 위치에 대해 다중 궤적 예측을 가능하게 함을 확인하였다.
• TVN(2위, mAP 0.3168)과 SceneTransformer(mAP 0.2788) 등 강력한 기준선을 뛰어넘어 궤적의 다양성과 정확성 측면에서 명확한 우월성을 입증하였다.