[논문 리뷰] SMOT: Single-Shot Multi Object Tracking

Wei Li, Yuanjun Xiong외 3명|arXiv (Cornell University)|2020. 10. 30.

Video Surveillance and Tracking Methods참고 문헌 44인용 수 9

한 줄 요약

SMOT는 SSD 객체 검출과 재검출 기반 추적을 통합하여 실시간, 온라인 다중 객체 추적을 가능하게 하는 새로운 단일 스텝 다중 객체 추적 프레임워크이다. 추적 앵커 할당 모듈을 도입함으로써 프레임당 일관된 추론 속도를 확보하고, MOT17, Hannah, MusicVideos에서 낮은 전이 오차와 높은 정확도로 최신 기준 성능을 달성한다.

ABSTRACT

We present single-shot multi-object tracker (SMOT), a new tracking framework that converts any single-shot detector (SSD) model into an online multiple object tracker, which emphasizes simultaneously detecting and tracking of the object paths. Contrary to the existing tracking by detection approaches which suffer from errors made by the object detectors, SMOT adopts the recently proposed scheme of tracking by re-detection. We combine this scheme with SSD detectors by proposing a novel tracking anchor assignment module. With this design SMOT is able to generate tracklets with a constant per-frame runtime. A light-weighted linkage algorithm is then used for online tracklet linking. On three benchmarks of object tracking: Hannah, Music Videos, and MOT17, the proposed SMOT achieves state-of-the-art performance.

연구 동기 및 목표

• 기존의 세 단계 추적-검출 파이프라인의 한계를 해결하기 위해, 검출 오차, 가림에 대한 민감성, 높은 가짜 양성 연결 오류를 개선한다.
• 객체 수에 관계없이 일정한 프레임당 런타임을 확보함으로써 온라인 실시간 다중 객체 추적을 가능하게 한다.
• 시간적 일관성을 활용한 개선된 트랙릿 생성을 통해 전이 오차(여러 객체를 하나의 트랙으로 잘못 연결하는 오류)를 감소시킨다.
• 이중 단계 검출 아키텍처가 필요 없이 단일 스텝 검출(SSD)과 추적을 통합한다.
• 기본 다중 객체 추적 벤치마크에서 정확도와 속도 면에서 최신 기준 성능을 달성한다.

제안 방법

• 이전 프레임의 검출된 바운딩 박스를 다음 프레임의 재검출을 위한 앵커 사전으로 재사용하는 추적 앵커 할당 모듈을 제안하여, 이중 단계 검출기에서의 프로포절 주입을 모방한다.
• SSD 검출기의 앵커 기반 슬라이딩 윈도우 메커니즘을 활용하여 재검출 기반 추적 파ragm을 SSD 검출기에 적응시킨다.
• 외관 특징 기반 경량 온라인 트랙릿 연결 알고리즘을 사용하여 짧은 트랙릿을 장기 트랙으로 통합한다.
• 이중 단계 파이프라인을 사용한다: (1) 시간적 앵커를 활용한 재검출을 통한 트랙릿 생성, (2) 외관 유사도 기반 온라인 연결.
• 트랙릿 생성 모듈을 백본 검출기와 독립적으로 설계하여, 어떤 SSD 기반 검출기와도 호환 가능하게 한다.
• 객체 수나 해상도 변화가 증가하더라도 일정한 프레임당 추론 시간을 유지함으로써 추론 속도를 최적화한다.

실험 결과

연구 질문

• RQ1 재검출 기반 추적은 SSD와 같은 단일 스텝 검출기에 효과적으로 적용되어 실시간 온라인 다중 객체 추적을 달성할 수 있는가?
• RQ2 프로포절 네트워크나 영역 프로포절 메커니즘이 없는 SSD 기반 검출기에서 시간적 정보를 효과적으로 전파할 수 있는가?
• RQ3 고품질의 재검출 트랙릿과 결합된 경량 온라인 연결 모듈이 높은 추적 정확도를 달성할 수 있는가?
• RQ4 제안된 SMOT 프레임워크는 기존의 추적-검출 방법에 비해 전이 오차를 감소시키는가?
• RQ5 실시간 다중 객체 추적에서 추론 속도, 모델 크기, 추적 정확도 사이의 상호 상충 관계는 어떠한가?

주요 결과

• SMOT는 MOT17에서 최신 기준 MOTA 0.900을 달성하여, 이전의 온라인 방법인 Tracktor++(0.830)과 DFS(0.837)를 뛰어넘었다.
• MusicVideos 데이터셋에서 SMOT는 MOTA 0.832와 IDF1 0.848를 기록하여 이전의 온라인 추적기들보다 뚜렷이 뛰어난 성능을 보였다.
• SMOT는 MOT17에서 전이 오차를 단 38로 줄였고, 이는 Tracktor++의 6537에 비해 훨씬 우수한 트랙 무결성과 다중 객체 오연결 감소를 의미한다.
• 256×256 해상도에서 40 FPS로 실행되며, 객체 수나 해상도 변화가 있어도 안정적인 추론 시간을 유지한다.
• 제거 분석 결과, 10개의 앵커 집합을 사용할 경우 정확도와 효율성 사이의 최적 균형을 확보하며, Hannah에서 MOTA 0.609, MusicVideos에서 MOTA 0.536를 기록했다.
• 온라인 연결을 통한 SMOT는 Hannah에서 MOTA 0.615, MusicVideos에서 MOTA 0.772를 달성하여 연결 단계가 트랙 품질 향상에 효과적임을 입증했다.