[논문 리뷰] SiamMOT: Siamese Multi-Object Tracking

Bing Shuai, Andrew Berneshawi외 3명|arXiv (Cornell University)|2021. 05. 25.

Video Surveillance and Tracking Methods참고 문헌 75인용 수 5

한 줄 요약

SiamMOT는 추적 정확도 향상을 위해 영역 기반 특징을 사용하여 운동을 명시적으로 모델링하는 시아모이스 기반 온라인 다중 객체 추적 프레임워크를 제안한다. Faster R-CNN 검출기와 명시적 운동 모델(EMM)을 통합함으로써 MOT17(65.9 MOTA), TAO-person(41.1 TrackAP), HiEve에서 최신 기술 수준의 성능을 달성하며, 단일 GPU에서 17 FPS로 실행된다.

ABSTRACT

In this paper, we focus on improving online multi-object tracking (MOT). In particular, we introduce a region-based Siamese Multi-Object Tracking network, which we name SiamMOT. SiamMOT includes a motion model that estimates the instance's movement between two frames such that detected instances are associated. To explore how the motion modelling affects its tracking capability, we present two variants of Siamese tracker, one that implicitly models motion and one that models it explicitly. We carry out extensive quantitative experiments on three different MOT datasets: MOT17, TAO-person and Caltech Roadside Pedestrians, showing the importance of motion modelling for MOT and the ability of SiamMOT to substantially outperform the state-of-the-art. Finally, SiamMOT also outperforms the winners of ACM MM'20 HiEve Grand Challenge on HiEve dataset. Moreover, SiamMOT is efficient, and it runs at 17 FPS for 720P videos on a single modern GPU. Codes are available in \url{https://github.com/amazon-research/siam-mot}.

연구 동기 및 목표

• 시아모이스 추적 프레임워크 내에서 객체 운동을 명시적으로 모델링하여 온라인 다중 객체 추적(MOT)의 정확도를 향상시키는 것.
• 빠른 운동 및 자세 변형과 같은 어려운 상황에서 명시적 모델링과 암시적 모델링의 영향을 분석하여 추적의 강건성에 미치는 영향을 조사하는 것.
• 엔드 투 엔드로 훈련 가능하고 실시간 배포에 적합한 영역 기반 시아모이스 추적기를 개발하는 것.
• MOT17, TAO-person, HiEve와 같은 표준 MOT 벤치마크에서 기존 최신 기술 수준의 방법들을 능가하는 성능을 달성하는 것.
• 추적 정밀도와 재현율의 균형을 맞추기 위한 추론 임계값 α와 β의 최적 설정을 도출하는 것.

제안 방법

• SiamMOT는 Faster R-CNN 검출기와 영역 기반 특징을 사용해 연속 프레임 간 운동을 추정하는 시아모이스 네트워크를 결합한다.
• 두 가지 변형을 도입한다: 특징에서 운동을 유추하는 암시적 운동 모델(IMM)과 영역 특징 간의 템플릿 매칭을 통해 이동량을 예측하는 명시적 운동 모델(EMM).
• 명시적 운동 모델은 템플릿(이전 프레임 검출 결과)과 검색 영역(현재 프레임)을 비교하는 시아모이스 아키텍처를 사용하여 운동 추정을 위한 매칭 함수를 학습한다.
• 추적기는 칼만 필터를 사용해 운동 예측을 정밀화하고, 검출 신뢰도 및 가시성 임계값을 기반으로 궤적을 유지한다.
• 구조적 손실을 사용해 검출 및 추적 성능을 동시에 최적화하는 엔드 투 엔드 훈련 프로세스를 구현한다.
• 가시성 신뢰도 임계값인 α(검출 신뢰도 임계값)와 β(가시성 신뢰도 임계값)는 그리드 서치를 통해 조정되어 거짓 경고와 거짓 부정의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 명시적 운동 모델링과 암시적 운동 모델링 간의 추적 정확도 및 강건성에서의 성능 비교는 어떻게 되는가?
• RQ2 빠른 운동 또는 자세 변형과 같은 어려운 추적 상황에서 운동 모델링이 성능 향상에 얼마나 기여하는가?
• RQ3 영역 기반 시아모이스 추적기가 온라인 MOT 환경에서 점검 기반 또는 특징 기반 추적기보다 우월한 성능을 낼 수 있는가?
• RQ4 MOT17, TAO-person, HiEve와 같은 다양한 데이터셋에서 SiamMOT는 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 추적 정밀도와 재현율을 균형 잡기 위한 추론 임계값 α와 β의 최적 구성은 무엇인가?

주요 결과

• SiamMOT는 명시적 운동 모델(EMM)을 사용해 DLA-34 백본을 기반으로 MOT17에서 65.9 MOTA 및 63.3 IDF1을 달성하며, 이는 이전의 모든 방법들을 능가한다.
• 대규모 TAO-person 데이터셋에서 SiamMOT는 TrackAP를 36.7(Tracktor++)에서 41.1로 향상시켜 다양한 환경에서의 강력한 일반화 능력을 입증한다.
• HiEve 데이터셋에서 SiamMOT는 ACM MM’20 HiEve Grand Challenge의 수상자인 기존 방법보다 뛰어난 성능을 보이며, 복잡한 실생활 추적 상황에서의 우수성을 확인한다.
• 빠른 운동 및 자세 변형 상황에서 명시적 운동 모델(EMM)은 운동 모델링이 가장 중요한 분야에서 추적 성능을 크게 향상시킨다.
• 민감도 분석 결과, MOT17에서 α = 0.6 및 β = 0.4가 거짓 경고와 거짓 부정의 균형을 가장 잘 맞추는 것으로 나타났으며, 임계값이 너무 높아지면 MOTA가 3% 이상 감소한다.
• SiamMOT는 단일 현대 GPU에서 17 FPS로 실행되어 실시간 응용에 적합한 높은 효율성을 보여준다.