[논문 리뷰] Joint 3D Tracking and Forecasting with Graph Neural Network and Diversity Sampling

Xinshuo Weng, Ye Yuan외 1명|arXiv (Cornell University)|2020. 03. 17.

Video Surveillance and Tracking Methods참고 문헌 62인용 수 28

한 줄 요약

이 논문은 그래프 신경망(GNN)을 사용해 에이전트 간 상호작용을 모델링하고, 다양성 샘플링 함수를 도입해 반복적이지 않은 다양한 예측을 생성함으로써 3D 다중객체 추적(MOT)과 궤적 예측을 통합한 프레임워크를 제안한다. 이 방법은 공유된 상호작용 인식 특징을 통해 추적과 예측을 동시에 최적화함으로써 KITTI와 nuScenes에서 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

3D multi-object tracking (MOT) and trajectory forecasting are two critical components in modern 3D perception systems that require accurate modeling of multi-agent interaction. We hypothesize that it is beneficial to unify both tasks under one framework in order to learn a shared feature representation of agent interaction. To evaluate this hypothesis, we propose a unified solution for 3D MOT and trajectory forecasting which also incorporates two additional novel computational units. First, we propose a feature interaction technique by introducing Graph Neural Networks (GNNs) to capture the way in which multiple agents interact with one another. The GNN is able to model complex hierarchical interactions, improve the discriminative feature learning for MOT association, and provide socially-aware context for trajectory forecasting. Second, we use a diversity sampling function to improve the quality and diversity of our forecasted trajectories. The learned sampling function is trained to efficiently extract a variety of outcomes from a generative trajectory distribution and helps avoid the problem of generating many duplicate trajectory samples. We evaluate on the KITTI and nuScenes datasets, showing that our unified method with feature interaction and diversity sampling achieves new state-of-the-art performance on both 3D MOT and trajectory forecasting. Our code will be made available at this https URL.

연구 동기 및 목표

• 3D 다중객체 추적(MOT)과 궤적 예측을 하나의 프레임워크로 통합하여 공유된 상호작용 인식 특징 학습을 가능하게 하기.
• 그래프 신경망(GNN)을 사용해 에이전트 간 복잡하고 계층적인 상호작용을 모델링함으로써 추적 정확도를 향상시키기.
• 기본 궤적 분포에서 다양하고 고급도의 예측 샘플을 추출하는 샘플링 함수를 학습시켜 예측의 다양성과 품질을 향상시키기.
• 기존 예측 모델에서 흔히 발생하는 반복적이거나 다양성이 낮은 궤적 샘플 문제를 해결하기.

제안 방법

• 다중 에이전트 상호작용을 모델링하기 위해 그래프 신경망(GNN)을 활용하여 계층적 관계를 포착하고, MOT 연관에 유용한 특징 구분 능력을 향상시킨다.
• GNN은 추적과 미래 궤적 예측에 모두 영향을 주는 맥락적이고 사회적 인지 특징을 인코딩한다.
• 다양성 샘플링 함수를 도입하여 생성된 궤적 분포에서 다양하고 고급도의 예측 샘플을 선택하는 데 훈련한다.
• 이 샘플링 함수는 미분 가능하며 추적 및 예측 목표와 함께 엔드 투 엔드로 최적화되어 예측의 다양성을 향상시킨다.
• 통합 아키텍처는 추적과 예측을 함께 최적화하여 두 작업 간 공유된 특징을 활용해 전체 성능을 향상시킨다.
• 표준 3D MOT 및 궤적 예측 기준을 사용해 KITTI와 nuScenes 데이터셋에서 모델을 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크가 3D 다중객체 추적과 궤적 예측을 동시에 최적화하여 두 작업의 성능을 향상시킬 수 있는가?
• RQ2 그래프 신경망(GNN)이 복잡하고 계층적인 에이전트 상호작용을 얼마나 효과적으로 모델링하여 추적 및 예측 성능을 향상시킬 수 있는가?
• RQ3 학습 가능한 다양성 샘플링 함수가 궤적 샘플의 중복을 줄이고 예측 품질을 향상시킬 수 있는가?
• RQ4 추적과 예측 간 공유된 특징 학습이 더 나은 일반화 및 성능 향상에 기여하는가?

주요 결과

• 제안된 통합 프레임워크는 3D MOT 및 궤적 예측 기준 평가에서 최신 기준 성능(SOTA)을 달성한다.
• GNN의 통합은 더 풍부하고 상호작용 인식 특징을 반영한 표현을 모델링함으로써 추적 정확도를 크게 향상시킨다.
• 다양성 샘플링 함수는 반복적인 궤적 샘플을 효과적으로 줄이고 예측의 다양성을 향상시켰다.
• 추적과 예측의 공동 최적화는 별도 훈련 방식에 비해 성능 향상에 기여한다.
• 모델은 KITTI와 nuScenes 데이터셋 모두에서 강력한 일반화 능력을 보이며, 공유 표현 학습의 효과성을 확인한다.
• 코드는 재현성 및 향후 연구를 지원하기 위해 공개될 예정이다.