[논문 리뷰] Online Multi-Object Tracking and Segmentation with GMPHD Filter and Simple Affinity Fusion

Young-Min Song, Moongu Jeon|arXiv (Cornell University)|2020. 08. 31.

Video Surveillance and Tracking Methods참고 문헌 45인용 수 8

한 줄 요약

이 논문은 가우시안 혼합 확률 가설 밀도(GMPHD) 필터, 계층적 데이터 할당(HDA), 및 마스크 기반 유사도 융합(MAF)을 사용하여 완전히 온라인인 다중 객체 추적 및 인스턴스 세분화(MOTS) 방법을 제안한다. 운동 및 외형 유사도를 점수 수준 정규화를 통해 융합하고, 마스크 IoU 기반 병합을 적용함으로써, 최소한의 하이퍼파rameter 튜닝과 CPU 전용 병렬 실행으로도 최신 기술 수준의 MOTS 성능을 달성한다.

ABSTRACT

In this paper, we propose a highly practical fully online multi-object tracking and segmentation (MOTS) method that uses instance segmentation results as an input. The proposed method is based on the Gaussian mixture probability hypothesis density (GMPHD) filter, a hierarchical data association (HDA), and a mask-based affinity fusion (MAF) model to achieve high-performance online tracking. The HDA consists of two associations: segment-to-track and track-to-track associations. One affinity, for position and motion, is computed by using the GMPHD filter, and the other affinity, for appearance is computed by using the responses from a single object tracker such as a kernalized correlation filter. These two affinities are simply fused by using a score-level fusion method such as min-max normalization referred to as MAF. In addition, to reduce the number of false positive segments, we adopt mask IoU-based merging (mask merging). The proposed MOTS framework with the key modules: HDA, MAF, and mask merging, is easily extensible to simultaneously track multiple types of objects with CPU only execution in parallel processing. In addition, the developed framework only requires simple parameter tuning unlike many existing MOTS methods that need intensive hyperparameter optimization. In the experiments on the two popular MOTS datasets, the key modules show some improvements. For instance, ID-switch decreases by more than half compared to a baseline method in the training sets. In conclusion, our tracker achieves state-of-the-art MOTS performance in the test sets.

연구 동기 및 목표

• 실시간으로 다수의 객체를 효율적으로 추적하고 세분화할 수 있는 완전히 온라인 MOTS 시스템을 개발하는 것.
• 많은 기존 MOTS 방법이 애초에 악영향을 미치는 광범위한 하이퍼파rameter 튜닝에 의존하는 것을 줄이는 것.
• 운동 및 외형 유사도를 효과적으로 융합하여 추적 정확도를 향상시키는 것.
• 마스크 IoU 기반 병합을 통해 잡음이 많은 세그먼테이션 예측을 최소화하는 것.
• 실제 구현에 적합한 병렬 처리가 가능한 CPU 전용 실행을 가능하게 하는 것.

제안 방법

• 해당 방법은 객체 상태를 모델링하고 사후 밀도를 추정하기 위해 가우시안 혼합 확률 가설 밀도(GMPHD) 필터를 사용한다.
• 계층적 데이터 할당(HDA)은 운동 및 외형 유사도를 사용하여 두 단계의 할당을 수행한다: 세그먼트-트랙 할당 및 트랙-트랙 할당.
• 운동 및 외형 유사도는 각각 GMPHD 필터와 커널화된 상관 필터 트래커를 통해 계산된다.
• 마스크 기반 유사도 융합(MAF)은 점수 수준 정규화(예: 최소-최대)를 사용하여 두 유사도를 융합하여 추적의 강건성을 향상시킨다.
• 마스크 IoU 기반 병합은 겹치는 또는 매우 유사한 마스크 예측을 병합함으로써 잘못된 양성 세그먼테이션을 줄이는 데 적용된다.
• 이 프레임워크는 다수의 객체 카테고리 추적에 확장 가능하며, CPU에서 병렬 처리를 지원하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 완전히 온라인인 MOTS 시스템이 최소한의 하이퍼파rameter 튜닝으로도 높은 성능을 달성할 수 있는가?
• RQ2 운동 및 외형 유사도를 효과적으로 융합하여 추적 정확도를 향상시킬 수 있는가?
• RQ3 마스크 IoU 기반 병합이 잘못된 양성 세그먼테이션 예측을 상당히 줄일 수 있는가?
• RQ4 복잡한 추적 환경에서 HDA 프레임워크가 표준 할당 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ5 병렬 실행에서 유일하게 CPU 기반 처리를 사용해도 시스템이 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 방법은 트레이닝 세트에서 베이스라인 대비 ID 전환 오류를 50퍼센트 이상 감소시켰다.
• 두 가지 주요 MOTS 데이터셋에서 테스트 세트에서 최신 기술 수준의 성능을 달성했다.
• 점수 수준 융합을 사용한 MAF의 적용은 운동 및 외형 신호를 균형 있게 조절하여 추적의 강건성을 향상시켰다.
• 마스크 IoU 기반 병합은 잘못된 양성 세그먼테이션을 효과적으로 줄여 세분화 정확도를 향상시켰다.
• 기존의 많은 MOTS 방법들이 철저한 하이퍼파rameter 최적화를 요구하는 데 비해, 이 시스템은 단순한 파rameter 튜닝만으로도 충분했다.
• 프레임워크는 병렬 처리가 가능한 CPU 전용 실행을 지원하여 실세계 구현에 실용적인 솔루션을 제공한다.