[논문 리뷰] Track Initialization and Re-Identification for~3D Multi-View Multi-Object Tracking

Linh Van, Tran Thien Dat Nguyen외 3명|arXiv (Cornell University)|2024. 05. 28.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 베이지안 다중 객체 추적(MOT) 접근법을 사용하여 다중 카메라에서 얻은 2D 탐지와 3D 물체 상태를 통합하고, 트랙을 초기화하며 객체를 재식별하는 3D 다중 뷰 MOT 프레임워크를 제안합니다. 잠재 표현을 학습합니다.

ABSTRACT

We propose a 3D multi-object tracking (MOT) solution using only 2D detections from monocular cameras, which automatically initiates/terminates tracks as well as resolves track appearance-reappearance and occlusions. Moreover, this approach does not require detector retraining when cameras are reconfigured but only the camera matrices of reconfigured cameras need to be updated. Our approach is based on a Bayesian multi-object formulation that integrates track initiation/termination, re-identification, occlusion handling, and data association into a single Bayes filtering recursion. However, the exact filter that utilizes all these functionalities is numerically intractable due to the exponentially growing number of terms in the (multi-object) filtering density, while existing approximations trade-off some of these functionalities for speed. To this end, we develop a more efficient approximation suitable for online MOT by incorporating object features and kinematics into the measurement model, which improves data association and subsequently reduces the number of terms. Specifically, we exploit the 2D detections and extracted features from multiple cameras to provide a better approximation of the multi-object filtering density to realize the track initiation/termination and re-identification functionalities. Further, incorporating a tractable geometric occlusion model based on 2D projections of 3D objects on the camera planes realizes the occlusion handling functionality of the filter. Evaluation of the proposed solution on challenging datasets demonstrates significant improvements and robustness when camera configurations change on-the-fly, compared to existing multi-view MOT solutions. The source code is publicly available at https://github.com/linh-gist/mv-glmb-ab.

연구 동기 및 목표

• 자율 시스템과 스포츠 분석을 위한 다중 동기화 카메라로부터의 강건한 3D MOT를 만들고자 한다.
• 2D 탐지와 3D 객체 상태를 하나의 통합 베이지안 MOT 모델로 융합하는 트랙 초기화 및 재식별 프레임워크를 제안한다.
• 2D 탐지, 다중 카메라 특징 및 공동 모션/외관 모델링을 처리하는 효율적인 M♡OT (MHypert MOC) 필터를 개발한다.
• 다중 카메라로부터의 2D 탐지와 추출된 특징을 활용하여 뷰 간 궤적 초기화, 종료 및 재식별을 개선한다.

제안 방법

• 트랙-프리비어스(track-previous)와 트랙-비포-탐지(track-before-detection) 구성요소를 통합하는 베이지안 MOT 형태를 사용한다.
• 여러 센서의 2D 탐지를 3D 상태 추정으로 융합하는 3D 다중 객체 추적 필터(M♡OT)를 고용한다.
• 전이와 관측에 대해 선형-가우시안 모델을 채택하여 효율적인 칼만 유사 업데이트를 가능하게 한다.
• 3D 위치, 속도 및 형상 매개변수와 함께 카메라 고정 외관 특징을 포함하는 다중 관측 상태 표현을 도입한다.
• 학습된 특징(SIFT 유사, HOG 및 신경망 특징 등)과 확률적 데이터 연관 단계에 의한 강건한 외관 모델을 내장한다.
• 그룹화된 GLMB/MO-GLMB 프레임워크와 track-fore-before-detection 패러다임을 활용하여 온라인 다중 카메라 데이터 연관에 베이지스 필터를 확장한다.
• 온라인/오프라인 데이터에 대한 실시간 추론을 가능하게 하기 위한 계산 가능성을 유지하는 근사 전략들(예: MÈR-GLMB)을 제공한다.

Σχ \acctonos ηµα 0: Σςηεματις οφ τηε προποςεδ 3Δ Μ῞-ΜΟΤ ςολυτιον. Μυλτι-ιεω δετεςτιονς (βουνδινγ βοξες ανδ ιςυαλ φεατυρες φρομ αλλ ςαμερας) ις ςυππλιεδ το τηε Μ῞-ΜΟΤ φιλτερ, ωηιςη ιντεγρατες μυλτι-οβϑεςτ δψναμις ανδ μεαςυρεμεντ μοδελς το ρεαλιζε αλλ ΜΟΤ φυνςτιοναλιτιες.

실험 결과

연구 질문

• RQ1 다중 뷰 2D 탐지에서 어떻게 3D MOT를 효과적으로 초기화하면서 정확한 종료 및 재식별을 유지할 수 있는가?
• RQ2 다중 카메라에서 2D 탐지, 3D 상태 및 외관 특징을 견고한 추적을 위해 효율적으로 융합하는 확률 프레임워크는 무엇인가?
• RQ3 온라인 다중 카메라 환경에서 트랙 초기화, 종료 및 재식별을 어떻게 함께 해결할 수 있는가?
• RQ4 3D 다중 뷰 MOT에서 실시간 성능을 가능하게 하되 정확도를 크게 떨어뜨리지 않는 근사들은 무엇인가?
• RQ5 학습된 외관 특징과 기하학적 인식 모션 모델이 뷰 간 재식별 및 궤적 복구에 어떤 영향을 미치는가?

주요 결과

• 다중 카메라에서 트랙 초기화, 종료 및 재식별을 공동으로 처리하는 베이지안 3D MOT 프레임워크를 제안한다.
• 효율성을 위해 2D 다중 카메라 탐지를 선형-가우시안 동역학으로 3D 상태 추정에 통합하도록 다중 객체 추적 필터(MOT)가 설계되었다.
• 이 방법은 모션, 외관, 기하를 결합하는 잠재 변수 표현을 사용하여 뷰 간 강건한 데이터 연관 및 재식별을 가능하게 한다.
• 온라인 다중 카메라 MOT으로 확장하기 위한 계산가능한 근사(예: M῞-GLMB)가 개발되어 복잡도를 줄이면서도 경쟁력 있는 정확도를 유지한다.
• 실험은 초기화 및 재식별을 위해 2D 탐지 및 교차 보기 외관 특징을 활용할 때 추적 성능이 개선됨을 보인다.

Σχ \acctonos ηµα 0: Σςηεματις οφ τηε προποςεδ μυλτι-ιεω ΜΟΤ φιλτερ, ωιτη Αδαπτιε Βιρτη Μοδελ ανδ Οςςλυςιον Μοδελ τηατ ρεαλιζε ΜΟΤ φυνςτιοναλιτιες.