[논문 리뷰] PTP: Parallelized Tracking and Prediction with Graph Neural Networks and Diversity Sampling

Xinshuo Weng, Ye Yuan외 1명|arXiv (Cornell University)|2020. 03. 17.

Video Surveillance and Tracking Methods참고 문헌 81인용 수 16

한 줄 요약

이 논문은 그래프 신경망(GNN)을 사용해 간섭자 간 기능 상호작용을 모델링하고, 표본 효율성을 향상시키기 위해 다양성 샘플링 함수를 도입한 통합적이고 병렬 처리 가능한 3D 다중객체 추적(MOT) 및 궤적 예측 프레임워크인 PTP를 제안한다. 두 작업을 함께 최적화하고 공유되는 사회적 인지 기반 기능을 활용함으로써, PTP는 KITTI 및 nuScenes 데이터셋에서 최신 기준 성능(SOTA)을 달성하며, 정확한 추적 입력을 제공받더라도 계류형 기반 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Multi-object tracking (MOT) and trajectory prediction are two critical components in modern 3D perception systems that require accurate modeling of multi-agent interaction. We hypothesize that it is beneficial to unify both tasks under one framework in order to learn a shared feature representation of agent interaction. Furthermore, instead of performing tracking and prediction sequentially which can propagate errors from tracking to prediction, we propose a parallelized framework to mitigate the issue. Also, our parallel track-forecast framework incorporates two additional novel computational units. First, we use a feature interaction technique by introducing Graph Neural Networks (GNNs) to capture the way in which agents interact with one another. The GNN is able to improve discriminative feature learning for MOT association and provide socially-aware contexts for trajectory prediction. Second, we use a diversity sampling function to improve the quality and diversity of our forecasted trajectories. The learned sampling function is trained to efficiently extract a variety of outcomes from a generative trajectory distribution and helps avoid the problem of generating duplicate trajectory samples. We evaluate on KITTI and nuScenes datasets showing that our method with socially-aware feature learning and diversity sampling achieves new state-of-the-art performance on 3D MOT and trajectory prediction. Project website is: https://www.xinshuoweng.com/projects/PTP

연구 동기 및 목표

• 계류형 3D MOT 및 궤적 예측 파이프라인에서의 오차 전파 및 최적화되지 않은 기능 학습 문제를 해결하기 위해.
• 다중객체 추적과 궤적 예측을 하나의 공동 최적화 프레임워크로 통합하여 공유 기능 학습을 가능하게 하기 위해.
• 그래프 신경망(GNN)을 사용해 간섭자 간 상호작용을 모델링하여 MOT에서의 분류 기능 학습을 향상시키기 위해.
• 학습 가능한 다양성 샘플링 함수를 도입하여 궤적 예측의 표본 효율성과 다중모달 미래 결과의 커버리지 향상시키기 위해.
• 공동 최적화된 병렬 처리 방식이 정확한 추적 결과를 제공받는 경우조차도 순차적 계류형 접근 방식을 능가하는 성능을 보여주기 위해.

제안 방법

• 병렬 처리 프레임워크는 3D MOT와 궤적 예측을 동시에 수행하여 두 작업을 분리함으로써 추적에서 예측으로의 오차 전파를 방지한다.
• 그래프 신경망(GNN)은 각 노드가 객체를 나타내는 그래프를 구성함으로써 간섭자 간 상호작용을 모델링하며, 다양한 간섭자 간 기능 집합을 통해 맥락 인지 기반 표현을 가능하게 한다.
• GNN 기반 기능 상호작용은 MOT에서의 분류 기능 학습을 향상시키고 궤적 예측에 사회적 인지 기반 맥락을 제공한다.
• 다양성 샘플링 함수는 생성 분포에서 다양하고 중복되지 않는 궤적 샘플을 추출하도록 학습되어 표본 효율성과 다중모달 미래 결과의 커버리지 향상에 기여한다.
• 공유 백본을 사용해 공동으로 훈련되며, MOT 헤드가 예측 헤드의 기능 학습을 향상시키는 보조 지도를 제공한다.
• 추론 과정에서 모델은 진짜 검출 결과와 과거 궤적을 입력으로 받아, 동시에 추적과 예측을 수행하고, 식별자 기반 궤적과 다양한 미래 예측 결과를 출력한다.

실험 결과

연구 질문

• RQ1 통합적이고 병렬 처리 가능한 프레임워크가 3D 다중객체 추적과 궤적 예측을 공동 최적화함으로써 계류형 파이프라인보다 성능을 향상시킬 수 있는가?
• RQ2 간섭자 간 기능 상호작용을 모델링하기 위해 그래프 신경망(GNN)을 통합할 경우, 추적에서의 분류 기능 학습과 사회적 인지 기반 예측에 어떤 영향을 미치는가?
• RQ3 학습 가능한 다양성 샘플링 함수가 궤적 예측에서 표본 효율성과 다중모달 미래 궤적의 커버리지 향상에 기여하는가?
• RQ4 공유 기능 표현을 통한 공동 최적화가 별도 훈련 대비 추적과 예측 양 측면에 어떤 이점을 제공하는가?
• RQ5 현재 프레임에서 진짜 추적 결과를 제공받더라도, 제안된 프레임워크가 최신 기준 성능(SOTA) 기반 모델을 능가할 수 있는가?

주요 결과

• PTP는 KITTI 및 nuScenes 데이터셋에서 3D MOT 및 궤적 예측 벤치마크에서 최신 기준 성능(SOTA)을 달성하며, 이는 이전의 계류형 방법보다 뛰어난 성능을 보인다.
• 모델은 ADE 및 FDE로 측정된 궤적 예측 정확도와 FSD로 측정된 다양성 측면에서 기준 모델보다 향상되었으며, 특히 장거리(3.0초) 예측 설정에서 두드러진 성능 향상을 보였다.
• 절단 분석 결과, MOT 헤드를 추가함으로써 공유 기능 학습이 향상되어 예측 성능이 향상되었고, 다양성 샘플링 함수는 정확도 및 다양성 지표를 추가로 향상시켰다.
• GNN를 사용한 결과, GNN가 없는 모델 대비 ADE 및 FDE가 크게 감소하여 간섭자 간 기능 상호작용의 효과성을 입증하였다.
• 다양성 샘플링 함수는 표본의 중복을 줄이고 다중모달 궤적 분포의 커버리지 향상에 기여하였으며, 이는 최종 자기 거리(Final Self Distance, FSD) 지표로 검증되었다.
• 모델에 외관 특징을 추가하면 성능이 악화되었으며, 이는 이 프레임워크에서 운동 특징만으로도 궤적 예측에 더 효과적임을 시사한다.