[논문 리뷰] SFSORT: Scene Features-based Simple Online Real-Time Tracker

Mohammad Morsali, Zeinab Sharifi외 4명|arXiv (Cornell University)|2024. 04. 11.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

SFSORT는 세계에서 가장 빠른 다객체 추적기로, 칼만 필터를 대체하는 새로운 경계상자 유사도 지수(cost function)와 시각적 장면 특징을 활용하여 MOT17에서 2242 Hz, MOT20에서 304 Hz의 성능을 달성한다. CPU 전용 시스템에서도 실시간 성능을 유지를 하면서 MOT17에서 SOTA HOTA 61.7%, MOT20에서 60.9%의 성능을 기록한다.

ABSTRACT

This paper introduces SFSORT, the world's fastest multi-object tracking system based on experiments conducted on MOT Challenge datasets. To achieve an accurate and computationally efficient tracker, this paper employs a tracking-by-detection method, following the online real-time tracking approach established in prior literature. By introducing a novel cost function called the Bounding Box Similarity Index, this work eliminates the Kalman Filter, leading to reduced computational requirements. Additionally, this paper demonstrates the impact of scene features on enhancing object-track association and improving track post-processing. Using a 2.2 GHz Intel Xeon CPU, the proposed method achieves an HOTA of 61.7\% with a processing speed of 2242 Hz on the MOT17 dataset and an HOTA of 60.9\% with a processing speed of 304 Hz on the MOT20 dataset. The tracker's source code, fine-tuned object detection model, and tutorials are available at \url{https://github.com/gitmehrdad/SFSORT}.

연구 동기 및 목표

• 엣지 및 클라우드 플랫폼에 적합한 실시간이고 계산 효율성이 뛰어난 다객체 추적 시스템을 개발하는 것.
• 추적-검출 기반 접근에서 칼만 필터를 제거하여 계산 오버헤드를 줄이고 속도를 향상시키는 것.
• 장면 특징을 객체-트랙 연관에 통합하여 추적 정확도와 강인성을 향상시키는 것.
• MOT17 및 MOT20과 같은 표준 MOT 벤치마크에서 속도와 정확도 면에서 최고 성능을 달성하는 것.
• 원본 프레임 저장을 피하고 경계상자와 장면 수준의 특징에만 의존함으로써 개인정보 보호 추적을 가능하게 하는 것.

제안 방법

• 객체 연관을 위해 기존의 IoU 기반 지표를 대체할 새로운 비용 함수인 경계상자 유사도 지수를 제안한다.
• 운동 모델링을 위해 장면 특징과 경계상자 기하학적 특징에 의존함으로써 칼만 필터를 완전히 제거한다.
• 영상 배경에서 추출한 장면 특징을 활용하여 객체-트랙 연관을 향상시키고 ID 전환을 감소시킨다.
• 새로운 비용 함수를 사용하는 허그리안 알고리즘을 활용한 최적 할당을 수행하는 추적-검출 프레임워크를 적용한다.
• 트랙 품질을 향상시키고 분할을 줄이기 위해 후처리 히우리스틱을 통합한다.
• 동일한 하드웨어 조건에서 유전 알고리즘을 활용해 하이퍼파rameter 튜닝을 통해 추적기 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 칼만 필터나 딥 아웃라인 특징을 사용하지 않고도 다객체 추적기가 SOTA 속도를 달성할 수 있는가?
• RQ2 장면 특징은 복잡하거나 혼잡한 환경에서 추적 정확도와 안정성에 어떤 영향을 미치는가?
• RQ3 새로운 경계상자 유사도 지표가 정확도와 계산 효율성 면에서 IoU 및 그 변종보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 GPU 가속 없이도 표준 및 혼잡한 MOT 벤치마크에서 실시간 성능(≥30 Hz)을 달성할 수 있는 정도는 어느 정도인가?
• RQ5 원본 프레임 의존성을 피하고 경계상자 및 장면 수준의 정보만을 기반으로 하여도 높은 정확도를 유지할 수 있는가?

주요 결과

• SFSORT는 2.2 GHz 인텔 엑손 CPU를 사용하여 MOT17 데이터셋에서 2242 Hz의 처리 속도를 기록하여 현재까지 보고된 바 중 가장 빠른 추적기이다.
• MOT17에서 SFSORT는 HOTA 점수 61.7%를 기록하여 MOTA 및 IDF1과 같은 정확도 지표에서 모든 다른 실시간 추적기들을 능가한다.
• 더 도전적인 MOT20 데이터셋에서 SFSORT는 304 Hz의 속도와 HOTA 60.9%의 성능을 기록하여 속도와 정확도 면에서 모든 다른 실시간 추적기들을 앞서며 우월성을 입증한다.
• 장면 특징은 추적기 성능을 크게 향상시키며, 객체-트랙 연관을 개선하고 ID 전환을 감소시킨다.
• SFSORT는 MOT17과 MOT20 양쪽에서 모두 30 Hz를 초과하는 유일한 추적기이며, MOT20에서 다음으로 빠른 추적기보다 거의 10배 빠르다.
• 추적기 소스 코드, 최적화된 YOLOv8 검출기, 및 튜토리얼은 https://github.com/gitmehrdad/SFSORT 에 공개되어 있다.