[논문 리뷰] Robust Online Multi-target Visual Tracking using a HISP Filter with Discriminative Deep Appearance Learning

Nathanael L. Baisa|arXiv (Cornell University)|2019. 08. 11.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 검증-식별 컨볼루션 네트워크(VerIdNet)를 통한 분류적 딥 어피어런스 학습을 이용한 가설적이고 독립적인 스토하스틱 인구(HISP) 필터를 사용하는 새로운 온라인 다중 타깃 시각 추적기의 제안한다. 공간-시간 운동 특징과 딥 어피어런스 임bedding을 원칙적인 확장된 우도에 융합함으로써, 이 추적기는 MOT16 및 MOT17 벤치마크에서 최신 기술 수준의 성능을 달성하며, 어피어런스 학습이 없는 기준 방법 대비 MOTA(+4.18%) 및 IDF1(+5.54%)에서 뚜렷한 향상을 이룬다.

ABSTRACT

We propose a novel online multi-target visual tracker based on the recently developed Hypothesized and Independent Stochastic Population (HISP) filter. The HISP filter combines advantages of traditional tracking approaches like MHT and point-process-based approaches like PHD filter, and it has linear complexity while maintaining track identities. We apply this filter for tracking multiple targets in video sequences acquired under varying environmental conditions and targets density using a tracking-by-detection approach. We also adopt deep CNN appearance representation by training a verification-identification network (VerIdNet) on large-scale person re-identification data sets. We construct an augmented likelihood in a principled manner using this deep CNN appearance features and spatio-temporal information. Furthermore, we solve the problem of two or more targets having identical label considering the weight propagated with each confirmed hypothesis. Extensive experiments on MOT16 and MOT17 benchmark data sets show that our tracker significantly outperforms several state-of-the-art trackers in terms of tracking accuracy.

연구 동기 및 목표

• 다양한 환경 조건과 높은 타깃 밀도 하에서 강력한 온라인 다중 타깃 추적 문제 해결
• 데이터 연관 향상을 위해 운동 정보와 분류적 딥 어피어런스 특징을 통합된 베이지안 프레임워크 내에서 통합
• 여러 타깃이 동일한 레이블을 할당받을 수 있는 HISP 필터의 정체성 모호성 문제 해결
• 자율 주행 및 감시와 같은 시간이 중요한 응용 분야에 적합한 실시간 추적기 개발
• 딥 어피어런스 및 운동 신호의 원칙적인 융합을 통해 기존 온라인 및 오프라인 추적기보다 표준 MOT 벤치마크에서 슈퍼리어한 성능 달성

제안 방법

• 타깃의 탄생, 사라짐 및 오진 경고를 처리하면서도 추적 정체성을 유지하는 선형 복잡도의 다중 타깃 필터인 HISP 필터 사용
• 대규모 인물 재식별 데이터셋에서 훈련된 검증-식별 컨볼루션 네트워크(VerIdNet)를 사용해 분류적 딥 어피어런스 특징 추출
• 원칙적인 베이지안 방식으로 딥 어피어런스 임베딩과 공간-시간 운동 특징을 융합한 확장된 우도 함수 구축
• 추적 추출 후 동일한 레이블이 할당된 다중 타깃 간 정체성 충돌을 해결하기 위해 가설 가중치 사용
• 공개된 검출 결과를 사용한 탐지 기반 추적 파rag램 적용으로 공정한 비교 가능하게 함(MOT16 및 MOT17 벤치마크에서 제공)
• 온라인 추론을 위한 슬라이딩 윈도우 방식 구현. 전체 프레임 추적 추출을 통한 오프라인 모드로의 잠재적 확장 가능

실험 결과

연구 질문

• RQ1 딥 어피어런스 특징과 운동 특징의 원칙적인 융합이 온라인 다중 타깃 추적 성능 향상에 기여하는가?
• RQ2 딥 어피어런스 학습을 통한 HISP 필터는 표준 벤치마크에서 최신 기술 수준의 온라인 및 오프라인 추적기와 비교해 어떻게 성능을 낼 수 있는가?
• RQ3 가설 가중치를 사용해 HISP 필터의 정체성 모호성 문제를 효과적으로 해결할 수 있는가?
• RQ4 딥 어피어런스 학습이 도전적인 조건에서 정체성 전환 수를 얼마나 줄이고 추적 정확도를 향상시키는가?
• RQ5 고밀도 타깃 및 카메라 운동 조건 하에서도 제안된 추적기가 높은 성능을 유지하는가?

주요 결과

• 제안된 HISP-DAL 추적기는 MOT17 벤치마크에서 MOTA 37.4 및 IDF1 30.5를 달성하며, 기준 HISP-T 추적기(35.9 MOTA, 28.9 IDF1) 대비 4.18% 향상된 성능 기록.
• 정체성 전환(IDSw) 및 분할(Frag) 수가 뚜렷이 감소하여 추적 일관성 향상 확인.
• 제거 분석 결과, 딥 어피어런스 특징 통합으로 인해 IDF1이 상대적으로 5.54% 향상됨을 확인하여 분류적 어피어런스 모델링의 중요성 입증.
• 고밀도 보행자 및 카메라 운동이 있는 도전적인 시퀀스인 MOT17-07-SDP에서만 몇 차례의 정체성 전환으로도 강력한 성능 유지.
• MOTA, MOTP 및 IDF1 등의 핵심 지표에서 MOT16 및 MOT17 벤치마크 전반에서 다수의 최신 기술 수준의 온라인 및 오프라인 추적기들을 초월한 성능 확보.
• 가설 가중치의 사용이 추적 추출 후 동일한 정체성을 할당받는 다중 타깃 문제를 효과적으로 해결하여 추적 관리 향상