[논문 리뷰] BASE: Probably a Better Approach to Multi-Object Tracking

Martin Vonheim Larsen, Sigmund Rolfsjord외 3명|arXiv (Cornell University)|2023. 09. 21.

Video Surveillance and Tracking MethodsComputer Science인용 수 3

한 줄 요약

BASE는 거리 인식 운동 모델, 동적 혼잡도 추정, 확률적 연관, 校정된 검출기 신뢰도를 통합한 최소화된 확률적 단일 가설 추적기로, MOT17 및 MOT20에서 최신 기술 수준 성능을 달성한다. 이는 시각 추적의 핵심 과제를 적절히 모델링할 경우 확률적 방법이 즉석 최신 기술 수준 추적기보다도 뛰어난 성능을 낼 수 있음을 보여준다.

ABSTRACT

The field of visual object tracking is dominated by methods that combine simple tracking algorithms and ad hoc schemes. Probabilistic tracking algorithms, which are leading in other fields, are surprisingly absent from the leaderboards. We found that accounting for distance in target kinematics, exploiting detector confidence and modelling non-uniform clutter characteristics is critical for a probabilistic tracker to work in visual tracking. Previous probabilistic methods fail to address most or all these aspects, which we believe is why they fall so far behind current state-of-the-art (SOTA) methods (there are no probabilistic trackers in the MOT17 top 100). To rekindle progress among probabilistic approaches, we propose a set of pragmatic models addressing these challenges, and demonstrate how they can be incorporated into a probabilistic framework. We present BASE (Bayesian Approximation Single-hypothesis Estimator), a simple, performant and easily extendible visual tracker, achieving state-of-the-art (SOTA) on MOT17 and MOT20, without using Re-Id. Code will be made available at https://github.com/ffi-no

연구 동기 및 목표

• 기존의 즉석 최신 기술 수준 방법들에 비해 확률적 추적기가 시각 다중객체 추적(VMOT)에서 성능이 열등한 이유를 해결하기 위해.
• 이전의 확률적 접근에서 간과된 핵심 시각 추적 과제인 비균일 운동학, 혼잡도 분포, 검출기 신뢰도를 식별하고 모델링하기 위해.
• 이러한 요소들을 적절히 반영할 경우 원칙적인 확률적 프레임워크가 최신 기술 수준 성능을 달성할 수 있음을 입증하기 위해.
• 미래의 확률적 VMOT 연구를 위한 최소화되고 확장 가능하며 원칙적인 기반을 제공하기 위해.
• 확률적 연관과 동적 모델링이 특히 校정된 신뢰도와 조합되었을 때 성능 향상에 필수적임을 보여주기 위해.

제안 방법

• 기존의 SHT 구성 요소를 확률적 대체 요소로 대체: 확률적 게이팅, 연관, 트랙 관리.
• 더 큰(더 가까운) 바운딩 박자에 대해 위치 불확실성을 증가시켜 운동학적 불확실성을 반영하는 거리 인식 운동 모델을 도입.
• 가짜 양성률에 대한 히스토그램 기반 추정을 통해 혼잡도 밀도를 동적으로 모델링하여 장면에 맞는 혼잡도 수준에 적응.
• 위치, 크기, 신뢰도를 통합된 지표로 융합하는 기반 확률적 연관을 위한 우도비 기반 방법을 활용.
• 히스토그램 기반 방법을 사용해 검출기 신뢰도 점수를 校정하여 연관 결정의 신뢰도를 향상.
• 최대우도추정(MLE)을 사용해 훈련 데이터로부터 모델 파라미터를 자동으로 학습시켜 강건성과 일반화 능력을 확보.

실험 결과

연구 질문

• RQ1 확률적 추적기가 이론적으로 유리한 점이 있음에도 불구하고 시각 다중객체 추적에서 성능이 열등한 이유는 무엇인가?
• RQ2 확률적 추적기는 비균일한 목표 운동학과 혼잡도 분포를 어떻게 다룰 수 있는가?
• RQ3 검출기 신뢰도는 확률적 연관에서 어떤 역할을 하는가? 그리고 이를 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ4 Re-Id나 복잡한 아키텍처 없이도 최소화된 확률적 추적기가 최신 기술 수준 성능을 달성할 수 있는가?
• RQ5 확률적 추적기가 즉석 최신 기술 수준 방법을 따라잡거나 뛰어넘기 위해 필수적인 구성 요소는 무엇인가?

주요 결과

• BASE는 Re-Id를 사용하지 않고도 ByteTrack 및 BoT-SORT와 같은 선도적 즉석 방법들을 능가하는 성능을 달성하여 MOT17 및 MOT20 벤치마크에서 최신 기술 수준을 달성한다.
• 제거 실험 결과 동적 혼잡도 모델링이 거리 인식 운동 모델의 성능 향상을 위해 필수적임을 입증하였으며, 일정한 혼잡도 모델은 성능을 떨어뜨린다.
• 단순한 운동 모델을 사용한 확률적 연관은 IOU 기반 연관보다 열등하지만, 거리 인식 모델과 조합될 경우 IOU 기반 방법을 능가한다.
• 교정된 검출기 신뢰도 점수는 원시 신뢰도 대비 0.8 MOTA 포인트 향상, 신뢰도 忽시 시 3.8 MOTA 포인트 향상으로 그 중요성을 입증한다.
• 전체 BASE 설정은 MOT17 검증 세트에서 81.6 MOTA 및 70.2 HOTA를 기록하여 BoT-SORT(78.5 MOTA)를 능가하고 MOTRv2와 같은 엔드 투 엔드 모델에 가까이 접근한다.
• 이 방법은 거리 효과, 혼잡도, 신뢰도와 같은 핵심 시각 추적 특성을 적절히 모델링할 경우 확률적 추적기가 단순하면서도 높은 성능을 낼 수 있음을 입증한다.