[논문 리뷰] StrongSORT: Make DeepSORT Great Again

Yunhao Du, Zhao, Zhicheng외 5명|arXiv (Cornell University)|2022. 02. 28.

Video Surveillance and Tracking Methods인용 수 20

한 줄 요약

본 논문은 DeepSORT를 재검토하여 강력하고 공정한 MOT 기준선인 StrongSORT를 구축하고, 두 개의 경량 플러그인 모듈(AFLink 및 GSI)을 추가하여 StrongSORT++를 만들어 MOT17, MOT20, DanceTrack, KITTI에서 최첨단 성능을 달성한다.

ABSTRACT

Recently, Multi-Object Tracking (MOT) has attracted rising attention, and accordingly, remarkable progresses have been achieved. However, the existing methods tend to use various basic models (e.g, detector and embedding model), and different training or inference tricks, etc. As a result, the construction of a good baseline for a fair comparison is essential. In this paper, a classic tracker, i.e., DeepSORT, is first revisited, and then is significantly improved from multiple perspectives such as object detection, feature embedding, and trajectory association. The proposed tracker, named StrongSORT, contributes a strong and fair baseline for the MOT community. Moreover, two lightweight and plug-and-play algorithms are proposed to address two inherent "missing" problems of MOT: missing association and missing detection. Specifically, unlike most methods, which associate short tracklets into complete trajectories at high computation complexity, we propose an appearance-free link model (AFLink) to perform global association without appearance information, and achieve a good balance between speed and accuracy. Furthermore, we propose a Gaussian-smoothed interpolation (GSI) based on Gaussian process regression to relieve the missing detection. AFLink and GSI can be easily plugged into various trackers with a negligible extra computational cost (1.7 ms and 7.1 ms per image, respectively, on MOT17). Finally, by fusing StrongSORT with AFLink and GSI, the final tracker (StrongSORT++) achieves state-of-the-art results on multiple public benchmarks, i.e., MOT17, MOT20, DanceTrack and KITTI. Codes are available at https://github.com/dyhBUPT/StrongSORT and https://github.com/open-mmlab/mmtracking.

연구 동기 및 목표

• 추적-감지 MOT 방법의 공정한 비교를 가능하게 하는 강력하고 공정한 기준선 제공.
• 감지기, 임베딩, 추론 트릭을 유지하면서 DeepSORT를 개선.
• 가벼운 플러그인 모듈(AFLink 및 GSI)으로 두 가지 MOT 전형적 문제(연관 누락 및 탐지 누락) 해결.
• 다수의 공개 MOT 벤치마크에서 최첨단 성능 시연.
• 학계 및 산업계의 도입을 촉진하기 위한 오픈 소스 코드 제공

제안 방법

• 더 강력한 탐지기(YOLOX-X)와 임베딩(BoT)으로 Appearance 모델링 개선.
• 노이즈를 줄이기 위한 등장 특성의 지수 이동 평균(EMA) 업데이트를 도입.
• 카메라 모션 보정(ECC) 및 NSA Kalman으로 적응적 잡음 처리.
• Appearance와 Motion의 결합으로 비용을 사용한 모션 인식 비용(C = lambda Aa + (1-lambda) Am).
• 강력한 트래커를 위한 과도하게 제한적인 프리미엄을 피하기 위해 매칭 캐스케이드를 일반 글로벌 선형 할당으로 대체.
• 공간-시간 특성을 이용해 트랙렛 연결성을 예측하는 appearance-free 글로벌 트랙렛 연결 모델(AFLink) 도입(이진 분류기).
• 가우시안 프로세스 회귀를 이용한 GSI 기반의 missing detections 보간으로 적응적 스무스니스 파라미터를 사용하여 궤적 위치를 개선

실험 결과

연구 질문

• RQ1 고전 MOT 프레임워크(DeepSORT)를 현대 MOT 방법에 대해 강력하고 공정한 기준선으로 재구성하려면 어떻게 해야 하는가?
• RQ2 가벼운 appearance-free 연결(AFLink)와 가우시안 프로세스 기반 보간(GSI)이 계산 비용을 크게 증가시키지 않으면서 연관 및 궤적 복원에 도움을 주는가?
• RQ3 AFLink와 GSI가 서로 다른 추적기에서 일반화되어 일관된 성능 향상을 가져올 수 있는가?
• RQ4 캐스케이드 매칭을 일반 글로벌 할당으로 대체했을 때 더 강력한 트래커의 성능에 어떤 영향이 있는가?
• RQ5 StrongSORT와 StrongSORT++가 MOT17, MOT20, DanceTrack, KITTI에서 최첨단 결과를 달성하는가?

주요 결과

• 더 강력한 탐지기 및 임베딩으로 DeepSORT 구성요소를 교체하면 IDF1 및 관련 지표가 향상된다.
• EMA 기반Appearance 업데이트와 ECC/NASA Kalman은 IDF1, MOTA 및 속도에서 점진적 이득을 제공한다.
• 매칭에 Appearance와 Motion 비용을 포함하면 연관이 향상되고, 매칭 캐스케이드를 포기하면 더 강한 기준선에서 성능이 추가로 향상된다.
• AFLink는 추적자 전반에서 특히 누락된 연관이 있는 경우 IDF1과 HOTA에서 주목할 만한 이득을 제공한다.
• GSI는 Gaussian-process 기반 보간으로 궤적을 매끄럽게 하여 IDF1, MOTA, HOTA를 개선하고 FPS는 합리적으로 유지한다.
• StrongSORT++(AFLink 및 GSI 포함)는 MOT17, MOT20, DanceTrack, KITTI에서 다양한 설정으로 최첨단 결과를 달성한다.