[논문 리뷰] Hybrid-SORT: Weak Cues Matter for Online Multi-Object Tracking

Mingzhan Yang, Guangxin Han외 5명|arXiv (Cornell University)|2023. 08. 01.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

이 논문은 전통적인 강한 특징(공간적 및 외형적 특징) 외에 약한 특징—신뢰도 상태, 키 상태, 속도 방향—을 통합함으로써 추적 정확도를 향상시키는 단순하고 온라인이며 실시간인 다중 객체 추적 방법인 Hybrid-SORT를 제안한다. Tracklet Confidence Modeling (TCM)과 Height Modulated IoU (HMIoU)를 도입함으로써, 혼잡도 및 가림 상황에서도 연장선상의 성능 향상을 이루었으며, MOT17, MOT20 및 특히 DanceTrack에서 최신 기술 수준(SOTA) 성능을 달성하였다. 이는 재학습 없이도 플러그-앤플러그 방식으로 다섯 가지 다양한 추적기에서 일관된 성능 향상을 이룬다.

ABSTRACT

Multi-Object Tracking (MOT) aims to detect and associate all desired objects across frames. Most methods accomplish the task by explicitly or implicitly leveraging strong cues (i.e., spatial and appearance information), which exhibit powerful instance-level discrimination. However, when object occlusion and clustering occur, spatial and appearance information will become ambiguous simultaneously due to the high overlap among objects. In this paper, we demonstrate this long-standing challenge in MOT can be efficiently and effectively resolved by incorporating weak cues to compensate for strong cues. Along with velocity direction, we introduce the confidence and height state as potential weak cues. With superior performance, our method still maintains Simple, Online and Real-Time (SORT) characteristics. Also, our method shows strong generalization for diverse trackers and scenarios in a plug-and-play and training-free manner. Significant and consistent improvements are observed when applying our method to 5 different representative trackers. Further, with both strong and weak cues, our method Hybrid-SORT achieves superior performance on diverse benchmarks, including MOT17, MOT20, and especially DanceTrack where interaction and severe occlusion frequently happen with complex motions. The code and models are available at https://github.com/ymzis69/HybridSORT.

연구 동기 및 목표

• 가림 및 객체 군집 상황에서 강한 특징(공간적 및 외형적 특징)의 성능 저하가 지속적으로 발생하는 다중 객체 추적(MOT) 문제를 해결한다.
• 이전에 간과되었던 약한 특징—신뢰도 상태, 키 상태, 속도 방향—이 이러한 상황에서 모호한 강한 특징을 효과적으로 보완할 수 있는지 탐구한다.
• 가림 및 운동 복잡성에 대해 강건성을 향상시키면서도, 단순성, 온라인성, 실시간성(SORT)을 유지하는 방법을 설계한다.
• 재학습이나 아키텍처 변경 없이 다양한 추적기 및 벤치마크에 일반화 가능함을 입증한다.
• 재학습이 필요 없고 최소한의 계산 부담으로 기존 추적기를 약한 특징 통합을 통해 향상시킬 수 있는 플러그-앤플러그, 재학습이 없는 솔루션을 개발한다.

제안 방법

• Tracklet Confidence Modeling (TCM)을 도입하여 칼만 필터와 선형 예측을 활용해 트랙렛의 신뢰도 상태를 추정함으로써, 가림/가리힘 관계 기반으로 신뢰할 수 있는 연동을 가능하게 한다.
• Height Modulated IoU (HMIoU)를 제안하여 표준 IoU와 칼만 필터링된 키 상태에서 유도된 높이축 IoU 행렬을 융합함으로써, 밀도가 높은 장면에서의 연동 강건성을 향상시킨다.
• 상자 중심에서 역점으로 확장된 관측 중심 운동량(OCM) 기반 메커니즘을 개선하여 다중 시간 간격을 지원함으로써 속도 방향을 모델링한다.
• ByteTrack의 영감을 받아 저신뢰도 검출에 대한 추가 연동 단계를 통합하여, 가리힘 또는 모호한 객체의 추적 성능을 향상시킨다.
• TCM 및 HMIoU를 플러그인 모듈로 적용하여 다섯 가지 대표적 추적기(SORT, DeepSORT, MOTDT, ByteTrack, OC-SORT)에 통합함으로써 호환성과 일관된 성능 향상을 입증한다.
• 칼만 필터를 활용해 키 및 신뢰도 상태를 모델링하여 자세 변화나 부분적 가림 상황에서도 안정적인 추정을 위해 시간적 연속성을 활용한다.

실험 결과

연구 질문

• RQ1 가림 및 군집 상황에서 발생하는 객체 연동의 모호성 문제를 해결하기 위해, 신뢰도 상태, 키 상태, 속도 방향 등의 약한 특징이 효과적으로 기여할 수 있는가?
• RQ2 기존의 SORT 유사 추적기의 단순성, 온라인성, 실시간 성능을 해치지 않으면서 약한 특징을 어떻게 모델링하고 통합할 수 있는가?
• RQ3 특히 심한 가림 및 복잡한 운동 조건에서, 약한 특징이 다양한 벤치마크에서 추적 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법이 공간 정보에만 의존하거나 외형 특징을 사용하는 추적기 아키텍처를 포함한 다양한 추적기 아키텍처에 일반화 가능한가?
• RQ5 약한 특징 통합이 재학습 없이 플러그-앤플러그 방식으로 기존 추적기를 향상시킬 수 있는가?

주요 결과

• Hybrid-SORT는 DanceTrack 벤치마크에서 51.80 HOTA 점수를 기록하여 기준 OC-SORT 및 기타 추적기들을 크게 앞서며 최신 기술 수준(SOTA) 성능을 달성하였다.
• MOT17에서 Hybrid-SORT는 66.52 HOTA를 기록하여 기준 성능보다 0.2 향상되었으며, 중간 수준의 도전 상황에서도 일관된 성능 향상을 보였다.
• Tracklet Confidence Modeling (TCM) 구성요소는 DanceTrack에서 DeepSORT의 성능을 4.9 HOTA 향상시켰고, MOT17에서는 0.9 HOTA 향상시켜 다양한 추적기에서의 효과성을 확인하였다.
• Height Modulated IoU (HMIoU) 구성요소는 DanceTrack에서 SORT의 성능을 1.6 HOTA 향상시켰고, MOT17에서는 1.0 HOTA 향상시켜, 키 기반 비용 융합이 연동 정확도를 향상시킨다는 것을 입증하였다.
• HMIoU는 너비 기반 변형(WMIoU)보다 성능이 뛰어나며, WMIoU는 성능을 떨어뜨리는 것으로 확인되어, 일관된 시간 동적 특성을 지닌 키가 너비보다 더 안정적이고 정보량이 많은 약한 특징임을 확인하였다.
• 이 방법은 SORT, DeepSORT, MOTDT, ByteTrack, OC-SORT 등 다섯 가지 다양한 추적기에서 일반화되었으며, 모든 케이스에서 일관되고 뚜렷한 성능 향상을 보였고, 플러그-앤플러그 및 재학습이 없는 설계의 타당성을 입증하였다.