[논문 리뷰] SMILEtrack: SiMIlarity LEarning for Occlusion-Aware Multiple Object Tracking

Yu-Hsiang Wang, Jun-Wei Hsieh외 4명|arXiv (Cornell University)|2022. 11. 16.

Video Surveillance and Tracking Methods인용 수 10

한 줄 요약

SMILEtrack는 시am즈 네트워크 기반의 유사도 학습 모듈(SLM)과 GATE 기능을 갖춘 유사도 매칭 캐스케이드(SMC)를 통해 음영 및 복잡한 환경에서의 외관 기반 매칭을 향상시킨다. MOT17 및 MOT20에서 BYTETrack 대비 0.4–0.8 MOTA 및 2.1–2.2 HOTA 향상을 달성하면서도 37.5 FPS의 경쟁적 추론 속도를 유지한다.

ABSTRACT

Despite recent progress in Multiple Object Tracking (MOT), several obstacles such as occlusions, similar objects, and complex scenes remain an open challenge. Meanwhile, a systematic study of the cost-performance tradeoff for the popular tracking-by-detection paradigm is still lacking. This paper introduces SMILEtrack, an innovative object tracker that effectively addresses these challenges by integrating an efficient object detector with a Siamese network-based Similarity Learning Module (SLM). The technical contributions of SMILETrack are twofold. First, we propose an SLM that calculates the appearance similarity between two objects, overcoming the limitations of feature descriptors in Separate Detection and Embedding (SDE) models. The SLM incorporates a Patch Self-Attention (PSA) block inspired by the vision Transformer, which generates reliable features for accurate similarity matching. Second, we develop a Similarity Matching Cascade (SMC) module with a novel GATE function for robust object matching across consecutive video frames, further enhancing MOT performance. Together, these innovations help SMILETrack achieve an improved trade-off between the cost ({\em e.g.}, running speed) and performance (e.g., tracking accuracy) over several existing state-of-the-art benchmarks, including the popular BYTETrack method. SMILETrack outperforms BYTETrack by 0.4-0.8 MOTA and 2.1-2.2 HOTA points on MOT17 and MOT20 datasets. Code is available at https://github.com/pingyang1117/SMILEtrack_Official

연구 동기 및 목표

• 유사한 외관을 가진 객체가 많은 복잡한 환경에서 특히 음영이 발생하는 상황에서 다중 객체 추적(MOT)에서 지속적인 음영 문제를 해결한다.
• 일반적으로 효율성이 떨어지는 별도의 검출 및 임베딩(SDE) 모델에 비해 검출 기반 추적 프레임워크에서 비용-성능 균형을 개선한다.
• 기존 SDE 모델의 전통적 특징 기술자들이 외관적으로 유사한 객체를 구분하지 못하는 한계를 극복한다.
• 추론 속도를 희생시키지 않고도 정확도를 향상시키는 강력하고 경량의 유사도 매칭 메커니즘을 개발한다.

제안 방법

• 비전 트랜스포머를 영감으로 삼은 패치 자체주의(Patch Self-Attention, PSA) 블록을 사용하는 시ам즈 네트워크 기반의 유사도 학습 모듈(SLM)을 도입하여 두 객체 제안 간의 외관 유사도를 계산한다.
• 다중 단계의 프레임 간 객체 연동을 수행하기 위해 새로운 GATE 기능을 갖춘 유사도 매칭 캐스케이드(SMC) 모듈을 설계하여 음영 상황에서도 강건성을 향상시킨다.
• 이중 단계 매칭 전략을 사용한다: 제1단계는 IOU와 SLM 기반 외관 유사도를 조합하여 고신뢰도 검출을 처리하고, 제2단계는 저신뢰도 또는 음영이 발생한 객체에 대해 오직 IOU에 의존한다.
• 저검출 점수를 가진 객체의 특징 표현을 향상시키기 위해 SLM에 여러 템플릿을 사용하여 도전적인 상황에서의 강건성을 향상시킨다.
• 패ッチ 레이아웃을 아블레이션 연구를 통해 최적화하고, MOT17 및 MOT20에서 최적 성능을 내기 위해 유형-E 구성 선택을 수행한다.
• SLM 및 SMC를 검출 기반 추적 파이프라인에 통합하여 높은 정확도를 유지하면서도 효율적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자기주의 주의 기반의 시암즈 기반 유사도 학습 모듈이 기존 특징 기술자들보다 음영이 발생하는 MOT 시나리오에서 외관 기반 매칭을 향상시킬 수 있는가?
• RQ2 제안된 GATE 기능을 갖춘 유사도 매칭 캐스케이드(SMC)는 특히 음영 상황에서 연속 프레임 간 추적 강건성을 어떻게 향상시키는가?
• RQ3 정확도와 효율성의 균형을 고려할 때, 다중 단계 매칭에서 IOU와 외관 유사도의 최적 조합은 무엇인가?
• RQ4 SLM 및 SMC 구성 요소가 BYTETrack과 같은 기존 SDE 기반 추적기의 성능을 얼마나 향상시킬 수 있는가?
• RQ5 패치 자체주의 블록의 패치 레이아웃은 MOT에서 전체 유사도 학습 성능에 어떤 영향을 미치는가?

주요 결과

• SMILEtrack는 MOT17 테스트 세트에서 37.5 FPS 속도로 80.7 MOTA 및 65.0 HOTA를 달성하여 MOTA, IDF1, HOTA, FN, MT 등 주요 지표에서 모든 최신 기술을 초월한다.
• MOT17에서 SMILEtrack는 유일하게 IDF1 점수를 80 이상으로 달성했으며, BYTETrack 대비 0.4–0.8 MOTA 포인트 및 2.0 이상의 HOTA 포인트를 뛰어넘었다.
• MOT20에서 SMILEtrack는 모든 최신 기술 대비 가장 높은 MOTA, IDF1, HOTA 및 FN 점수를 기록하여 뛰어난 일반화 능력과 강건성을 입증했다.
• 아블레이션 연구를 통해 PSA 블록의 유형-E 패치 레이아웃이 최고의 성능을 내며, 다른 구성 대비 최대 0.3 포인트의 MOTA 향상을 이끌어냈다.
• SMC의 두 단계 모두에서 SLM과 IOU를 조합한 것이 최고의 성능을 내었으며, 최종 구성은 MOT17에서 76.5 MOTA 및 78.9 IDF1 점수를 기록했다.
• BYTETrack에 SLM, SMC 및 GATE 구성 요소를 적용했을 때 성능 향상이 뚜렷하게 나타났으며, 이는 기존 SDE 추적기용 플러그인 모듈로서의 효과를 입증한다.