[논문 리뷰] Joint Detection and Multi-Object Tracking with Graph Neural Networks

Yongxin Wang, Xinshuo Weng외 1명|arXiv (Cornell University)|2020. 06. 23.

Video Surveillance and Tracking Methods참고 문헌 91인용 수 37

한 줄 요약

이 논문은 공간-시간적 상호작용을 모델링함으로써 객체 검출과 데이터 연동을 동시에 최적화하는 그래프 신경망(GNN) 기반의 공동 다중객체 추적(MOT) 프레임워크를 제안한다. GNN 기반의 특징 학습 프레임워크 내에서 외관 및 운동 특징을 통합함으로써, 엔드 투 엔드로 미분 가능한 훈련을 통해 MOT 챌린지 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Object detection and data association are critical components in multi-object tracking (MOT) systems. Despite the fact that these two components are highly dependent on each other, one popular trend in MOT is to perform detection and data association as separate modules, processed in a cascaded order. Due to this cascaded process, the resulting MOT system can only perform forward inference and cannot back-propagate error through the entire pipeline and correct them. This leads to sub-optimal performance over the total pipeline. To address this issue, recent work jointly optimizes detection and data association and forms an integrated MOT approach, which has been shown to improve performance in both detection and tracking. In this work, we propose a new approach for joint MOT based on Graph Neural Networks (GNNs). The key idea of our approach is that GNNs can explicitly model complex interactions between multiple objects in both the spatial and temporal domains, which is essential for learning discriminative features for detection and data association. We also leverage the fact that motion features are useful for MOT when used together with appearance features. So our proposed joint MOT approach also incorporates appearance and motion features within our graph-based feature learning framework, leading to better feature learning for MOT. Through extensive experiments on the MOT challenge dataset, we show that our proposed method achieves state-of-the-art performance on both object detection and MOT.

연구 동기 및 목표

• 모듈 간 오차 역전파가 불가능한 계열적 검출 및 추적 파이프라인의 열악한 성능을 해결하기 위해.
• 검출 및 데이터 연동을 공동으로 최적화함으로써 다중객체 추적의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 그래프 신경망을 사용하여 공간과 시간에 걸친 다수 객체 간 복잡한 상호작용을 모델링하기 위해.
• 통합된 그래프 기반 프레임워크 내에서 외관 및 운동 특징을 통합함으로써 특징 학습을 향상시키기 위해.
• 공동 최적화를 통해 MOT 챌린지 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 이 방법은 객체 간 상호작용을 공간적 및 시간적 차원에서 명시적으로 모델링하기 위해 그래프 신경망(GNN)을 활용한다.
• 객체는 그래프의 노드로 표현되며, 간선은 검출 간 공간적 밀도 및 시간적 일관성을 표현한다.
• 외관 및 운동 특징은 그래프 노드에 통합되고, GNN 메시지 전달 메커니즘을 통해 업데이트된다.
• GNN 프레임워크는 오차 역전파를 전체 파이프라인에 걸쳐 허용함으로써 검출 및 데이터 연동의 공동 최적화를 가능하게 한다.
• 검출 및 연동 목표를 통합한 미분 가능한 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 이 프레임워크는 외관 및 운동 측면이 그래프 컨볼루션을 통해 동적으로 개선되는 공동 특징 학습을 지원한다.

실험 결과

연구 질문

• RQ1 GNN 기반 프레임워크는 다중객체 추적에서 검출 및 데이터 연동을 공동으로 최적화하여 전반적인 성능 향상을 이끌 수 있는가?
• RQ2 객체 간 공간-시간적 상호작용이 공동 MOT에서 특징 학습에 어떤 영향을 미치는가?
• RQ3 그래프 기반 학습 프레임워크 내에서 외관 및 운동 특징을 통합할 경우 추적 정확도에 어떤 영향을 미치는가?
• RQ4 검출 및 연동 모듈을 거쳐 오차 역전파가 가능한 엔드 투 엔드 훈련은 계열적 파이프라인보다 더 나은 성능을 낼 수 있는가?
• RQ5 제안된 GNN 기반 방법은 표준 MOT 벤치마크에서 최신 기술 수준의 결과를 달성하는가?

주요 결과

• 제안된 GNN 기반 공동 MOT 프레임워크는 MOT 챌린지 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 그래프 프레임워크 내에서 외관 및 운동 특징을 통합함으로써 더 구분력 있는 특징 학습이 가능해진다.
• 검출 및 연동 모듈을 거쳐 오차 역전파가 가능한 엔드 투 엔드 훈련은 계열적 접근에 비해 파이프라인 최적화를 향상시킨다.
• GNN를 통한 공간-시간적 상호작용 모델링은 데이터 연동 정확도 및 검출 품질을 향상시킨다.
• 이 방법은 검출 및 다중객체 추적 메트릭 모두에서 기존 최신 기술 수준의 방법들을 능가한다.