[논문 리뷰] GNN3DMOT: Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning

Xinshuo Weng, Yongxin Wang외 2명|arXiv (Cornell University)|2020. 06. 12.

Video Surveillance and Tracking Methods참고 문헌 25인용 수 15

한 줄 요약

이 논문은 그래프 신경망(GNN)을 활용해 객체 간 특징 상호작용을 통한 분류 특징 학습을 향상시키고, 2D-3D 특징 추출기와 앙상블 학습을 통합하여 다중 모odal 특징 융합을 실현하는 3D 다중 객체 추적 방법인 GNN3DMOT을 제안한다. 이 방법은 GNN 기반 특징 정제와 다중 모달 융합을 통해 특징의 분류 능력을 향상시켜 KITTI 및 nuScenes 3D MOT 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

3D Multi-object tracking (MOT) is crucial to autonomous systems. Recent work uses a standard tracking-by-detection pipeline, where feature extraction is first performed independently for each object in order to compute an affinity matrix. Then the affinity matrix is passed to the Hungarian algorithm for data association. A key process of this standard pipeline is to learn discriminative features for different objects in order to reduce confusion during data association. In this work, we propose two techniques to improve the discriminative feature learning for MOT: (1) instead of obtaining features for each object independently, we propose a novel feature interaction mechanism by introducing the Graph Neural Network. As a result, the feature of one object is informed of the features of other objects so that the object feature can lean towards the object with similar feature (i.e., object probably with a same ID) and deviate from objects with dissimilar features (i.e., object probably with different IDs), leading to a more discriminative feature for each object; (2) instead of obtaining the feature from either 2D or 3D space in prior work, we propose a novel joint feature extractor to learn appearance and motion features from 2D and 3D space simultaneously. As features from different modalities often have complementary information, the joint feature can be more discriminate than feature from each individual modality. To ensure that the joint feature extractor does not heavily rely on one modality, we also propose an ensemble training paradigm. Through extensive evaluation, our proposed method achieves state-of-the-art performance on KITTI and nuScenes 3D MOT benchmarks. Our code will be made available at https://github.com/xinshuoweng/GNN3DMOT

연구 동기 및 목표

• 각 객체별로 독립적으로 특징을 추출하는 방식으로 인해 3D 다중 객체 추적에서 최적의 분류 특징 학습이 이루어지지 않는 문제를 해결하기 위해.
• 그래프 신경망(GNN)을 활용해 객체 간 특징 상호작용을 가능하게 하여 검출 기반 추적 파이프라인의 데이터 연동 성능을 향상시키기 위해.
• 2D 및 3D 모달 간 상호보완적 정보를 활용하기 위해 2D와 3D 공간에서 동시에 외관 및 운동 특징을 공동으로 학습하기 위해.
• 학습 중에 특징 추출기 브랜치를 무작위로 비활성화하는 앙상블 학습 프레임워크를 도입하여 모델이 단일 모달에 과도하게 의존하는 것을 방지하기 위해.

제안 방법

• 각 객체의 특징이 그래프 내 이웃 객체의 특징을 집계하여 업데이트되는 GNN 기반 특징 상호작용 메커니즘을 도입하여, 객체 간 맥락 정보를 통한 분류 능력 향상.
• 2D 외관, 2D 운동, 3D 외관, 3D 운동 특징을 동시에 학습하는 사분면의 공동 특징 추출기 설계로, GNN 처리 이전에 특징 융합.
• 두 층의 완전 연결 신경망(MLP)을 사용해 메시지 전달을 위한 주목적 가중치를 계산하는 가중치 학습 가능한 엣지 회귀 모듈을 갖춘 다층 GNN 아키텍처.
• 드롭아웃에 영감을 받은 앙상블 학습 프레임워크를 적용하여 학습 중에 특징 추출기 브랜치를 무작위로 비활성화함으로써 모델의 강건성과 균형 잡힌 모달 활용을 확보.
• 기존 GNN 레이어(GCN, GraphSAGE, GAT)와 비교해 우수한 성능을 보인 새로운 노드 집계 규칙(Type 4)을 도입.
• GNN 처리된 특징에서 얻은 정제된 유사도 행렬을 기반으로 허그리안 알고리즘을 사용해 데이터 연동을 수행하며, 전체 네트워크를 엔드 투 엔드로 훈련.

실험 결과

연구 질문

• RQ1 그래프 신경망을 활용해 객체 간 특징 상호작용을 가능하게 하여 3D 다중 객체 추적에서 분류 특징 학습을 향상시킬 수 있는가?
• RQ2 2D 및 3D 외관 및 운동 특징을 공동으로 학습하는 것이 단일 모달을 사용하는 것보다 성능 향상에 기여하는가?
• RQ3 학습 중에 특징 추출기 브랜치를 무작위로 비활성화하는 앙상블 학습 방식이 다중 모달 3D MOT에서 모델의 강건성과 성능에 어떤 영향을 미치는가?
• RQ4 3D MOT에서 추적 정확도를 최대화하기 위해 최적의 GNN 레이어 수와 집계 전략은 무엇인가?
• RQ5 다양한 엣지 회귀 모듈(예: 코사인 유사도 vs. MLP)이 최종 추적 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 GNN3DMOT 방법은 KITTI 3D MOT 벤치마크에서 93.68%의 sAMOTA 점수를 기록하여 이전 방법들을 크게 앞서는 최신 기술 수준 성능을 달성한다.
• 2D+3D 특징 추출기와 연결 융합 방식이 93.68%의 sAMOTA 점수를 기록하여, 다중 모달 특징 간 상호보완성이 높고 추적 정확도 향상에 기여함을 입증한다.
• 두 층의 MLP를 엣지 회귀 모듈로 사용할 경우, 전통적인 측정 방식인 코사인 유사도 및 L2 거리보다 우수한 성능을 보이며 93.68%의 sAMOTA 점수를 기록한다.
• 최적의 GNN 레이어 수는 3개이며, 이를 초과하면 과적합이 발생하고 성능 저하가 나타난다.
• 드롭 비율 0.5를 갖는 앙상블 학습 프레임워크가 최고의 성능을 기록하여, 모달 우세성 방지 및 일반화 능력 향상에 효과적임을 확인한다.
• 제안된 노드 집계 규칙(Type 4)은 KITTI-Car 검증 세트에서 MOTA 84.70%를 기록하여 GCN 및 GAT 등의 표준 GNN 변종보다 뛰어난 성능을 보였다.