[논문 리뷰] Graph Neural Networks for 3D Multi-Object Tracking

Xinshuo Weng, Yongxin Wang외 2명|arXiv (Cornell University)|2020. 08. 20.

Video Surveillance and Tracking Methods참고 문헌 11인용 수 4

한 줄 요약

이 논문은 그래프 신경망(GNNs)을 활용해 특징 상호작용을 모델링하고, 2D/3D 특징 추출기를 통합하여 분류 성능 향상을 도모하는 새로운 3D 다객체 추적(MOT) 방법을 제안한다. GNN을 통해 객체 간 의존성을 모델링하고, 2D 및 3D 공간에서의 외관 및 운동 특징을 융합함으로써 KITTI 데이터셋에서 최신 기준 성능을 달성하였으며, sAMOTA 93.92와 MOTA 86.03을 기록하였다.

ABSTRACT

3D Multi-object tracking (MOT) is crucial to autonomous systems. Recent work often uses a tracking-by-detection pipeline, where the feature of each object is extracted independently to compute an affinity matrix. Then, the affinity matrix is passed to the Hungarian algorithm for data association. A key process of this pipeline is to learn discriminative features for different objects in order to reduce confusion during data association. To that end, we propose two innovative techniques: (1) instead of obtaining the features for each object independently, we propose a novel feature interaction mechanism by introducing Graph Neural Networks; (2) instead of obtaining the features from either 2D or 3D space as in prior work, we propose a novel joint feature extractor to learn appearance and motion features from 2D and 3D space. Through experiments on the KITTI dataset, our proposed method achieves state-of-the-art 3D MOT performance. Our project website is at http://www.xinshuoweng.com/projects/GNN3DMOT.

연구 동기 및 목표

• 객체 간 의존성을 모델링하여 3D 다객체 추적에서 분류 성능 향상을 도모하기 위해.
• 기존의 검출 기반 추적 파이프라인에서 독립적인 특징 추출 방식의 한계를 해결하기 위해.
• 2D 및 3D 공간 간 상호보완적 정보를 활용하여 보다 강력한 운동 및 외관 특징을 확보하기 위해.
• 2D 및 3D 외관 및 운동 특징을 융합하는 공동 특징 추출기를 개발하여 데이터 연동 성능을 향상시키기 위해.
• 객체 간 상호작용을 통해 맥락 인식 특징 업데이트를 가능하게 하기 위해 그래프 신경망을 적용하기 위해.

제안 방법

• 각 노드가 2D 및 3D 공간에서 융합된 특징을 나타내는 그래프를 구축하며, 간선은 잠재적 연동을 나타낸다.
• 다중층 GNN을 적용하여 이웃 노드의 정보를 집계함으로써 각 노드의 특징을 업데이트하고 맥락 인식 특징 학습을 가능하게 한다.
• 사전 융합 전에 독립적으로 2D 외관, 2D 운동, 3D 외관, 3D 운동 특징을 학습하기 위해 사분면 특징 추출기를 활용한다.
• 모든 사분면에서 유도된 특징을 하나의 표현으로 융합한 후, GNN을 통해 상호작용 및 유사도 계산을 수행한다.
• 노드 특징에 대해 배치 트리플릿 손실과 예측된 유사도 행렬에 대한 유사도 손실을 사용하여 엔드 투 엔드 학습을 수행한다.
• GNN 내에서 간선 회귀를 수행하여 최종 유사도 행렬을 예측함으로써 데이터 연동을 수행한다.

실험 결과

연구 질문

• RQ1 그래프 신경망을 통해 객체 간 상호의존성을 모델링하면 3D 다객체 추적에서 분류 성능 향상에 기여할 수 있는가?
• RQ2 2D 및 3D 외관 및 운동 특징을 함께 학습하면 단일 모odal을 사용하는 것보다 더 강력하고 분류 성능이 뛰어난 특징을 도출할 수 있는가?
• RQ3 제안된 GNN 기반 특징 상호작용 메커니즘은 독립적인 특징 추출 방식에 비해 데이터 연동 정확도에서 어떤 성능을 보이는가?
• RQ4 2D 및 3D 특징 융합은 유사한 객체 간 혼동을 줄이고 복잡한 환경에서 추적의 안정성을 향상시킬 수 있는가?
• RQ5 맥락 인식 특징 학습은 3D 추적에서 MOTA 및 AMOTA와 같은 표준 MOT 지표에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 KITTI 3D MOT 벤치마크에서 최신 기준 성능을 기록한 sAMOTA 93.92를 달성하였다.
• MOTA 86.03을 기록하여 동일 평가 환경에서 mmMOT(74.07), FANTrack(74.30), AB3DMOT(86.24)를 뛰어넘는 성능을 보였다.
• 정체성 전환(_IDS) 수를 0으로 줄여 mmMOT(10) 및 FANTrack(35)에 비해 완벽한 정체성 일관성을 확보하였다.
• 모든 비교 방법 중에서 가장 낮은 10건의 분할 이벤트(FRAG)를 기록하여 뛰어난 추적 연속성을 확보하였다.
• AMOTA 45.83 및 AMOTP 78.10은 전체 추적 정확도와 정위치 정밀도 측면에서 강력한 성능을 보여주었다.
• 절단 분석 결과, 공동 2D/3D 특징 추출기와 GNN 기반 상호작용 메커니즘이 성능 향상에 필수적임을 확인하였다.