[논문 리뷰] TNT: Target-driveN Trajectory Prediction

Hang Zhao, Jiyang Gao외 10명|arXiv (Cornell University)|2020. 08. 19.

Autonomous Vehicle Technology and Safety참고 문헌 38인용 수 210

한 줄 요약

TNT는 미래 목표를 이산화하고, 이 목표로 모션을 조건화하며, 트래젝토리를 점수화하여 가능성이 높은 미래의 축약된 집합을 생성하는 세 단계의 목표 주도 프레임워크를 제안하며; 이는 여러 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

Predicting the future behavior of moving agents is essential for real world applications. It is challenging as the intent of the agent and the corresponding behavior is unknown and intrinsically multimodal. Our key insight is that for prediction within a moderate time horizon, the future modes can be effectively captured by a set of target states. This leads to our target-driven trajectory prediction (TNT) framework. TNT has three stages which are trained end-to-end. It first predicts an agent's potential target states $T$ steps into the future, by encoding its interactions with the environment and the other agents. TNT then generates trajectory state sequences conditioned on targets. A final stage estimates trajectory likelihoods and a final compact set of trajectory predictions is selected. This is in contrast to previous work which models agent intents as latent variables, and relies on test-time sampling to generate diverse trajectories. We benchmark TNT on trajectory prediction of vehicles and pedestrians, where we outperform state-of-the-art on Argoverse Forecasting, INTERACTION, Stanford Drone and an in-house Pedestrian-at-Intersection dataset.

연구 동기 및 목표

• 불가능한 다중 모달 궤적 예측의 주요 원인을 명확한 플라이스블한 미래 목표의 이산 집합으로 모델링하여 견고한 다중 모달 궤적 예측을 촉진한다.
• 목표 예측, 목표 조건 모션, 그리고 궤적 점수를 분리하는 엔드투엔드 학습 가능한 세 단계 프레임워크를 도입한다.
• 목표가 긴-수평 불확실성의 대부분을 포착하고, 목표가 주어졌을 때의 모션은 사실상 단모드임을 보여준다.

제안 방법

• Stage 1 (Target Prediction): 현장 맥락(context)을 이용해 이산 미래 목표 위치에 대한 분포를 예측합니다; 목표를 과다 샘플링(N ~ 1000 등)하고 associated offsets와 함께 상위 M개의 목표를 출력합니다; 목표 확률에 대해 교차 엔트로피 손실을, 옵셋에 대해 허버 손실을 사용해 학습합니다.
• Stage 2 (Target-conditioned Motion Estimation): 각 목표에 대해 목표와 맥락에 조건화된 단일 모드 궤적을 예측합니다; 2-층 MLP를 사용하고 학습 중에 티처 포싱(teacher forcing)을 적용합니다.
• Stage 3 (Trajectory Scoring and Selection): 최대 엔트로피 모델로 궤적을 점수화하고, ground-truth와 유사한 점수에 대해 교차 엔트로피 손실을 사용하여 다양하고 간결한 K개의 예측 집합을 순위를 매겨 선택하도록 학습합니다; 근접 중복을 제거하기 위해 비최대 억제(non-maximum suppression)를 적용합니다.]
• Stage 3 (Trajectory Scoring and Selection): 최대 엔트로피 모델로 궤적을 점수화하고, ground-truth와 유사한 점수에 대해 교차 엔트로피 손실을 사용하여 다향하고 간결한 K개의 예측 집합을 순위를 매겨 선택하도록 학습합니다; 근접 중복을 제거하기 위해 비최대 억제(non-maximum suppression)를 적용합니다.

실험 결과

연구 질문

• RQ1 미래 목표를 이산화하는 것이 궤적 예측의 다중 모달 불확실성의 대다수를 포착하는가?

주요 결과

데이터셋	부분집합	minFDE	minADE	Miss Rate@2m
Argoverse (validation)	M=50, K=6	1.29	0.73	0.09
INTERACTION (validation)	M=50, K=6	0.67	0.21	-
PAID (validation)	M=50, K=6	0.32	0.18	-
Stanford Drone Dataset (SDD)	M=5, K=5	21.16	12.23	-

• TNT는 Argoverse, INTERACTION, PAID, SDD의 네 가지 벤치마크에서 최첨단 결과를 달성합니다.
• 목표 주도 조건화를 활용하면 상위 M개의 목표와 K개의 최종 궤적으로 구성된 간결한 예측 세트에서 강한 재현율과 정확도를 얻습니다.
• 밀도 높은 목표 샘플링은 포화점까지 성능을 향상시키며, 보행자의 경우 격자 타깃이 잘 작동합니다.
• 타깃 오프셋 회귀와 타깃별 단모드 모션 모델은 이 구성 요소가 없는 변형들에 비해 정확도를 크게 향상시킵니다.
• 잠재 변수(latent-variable) 또는 앵커 기반 방법과 비교하여, TNT는 해석 가능한 중간 출력물(목표들)과 경쟁력 있거나 우수한 예측 성능을 제공합니다.
• 단일 TNT 모델이 여러 데이터셋에서 챌린지 우승자들의 성능에 도달하거나 상회합니다.