[논문 리뷰] Strong-TransCenter: Improved Multi-Object Tracking based on Transformers with Dense Representations

Amit Galor, Roy Orfaig외 1명|arXiv (Cornell University)|2022. 10. 24.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 TransCenter를 보완하기 위해 운동 모델링을 위한 칼만 필터링과 재식별을 위한 딥 임베딩 네트워크를 활용한 후처리 기법을 통합한 강력한 변형된 트랜스포머 기반 다중 객체 추적 프레임워크인 Strong-TransCenter를 제안한다. 이 방법은 MOT17 및 MOT20 벤치마크에서 최신 기술 수준의 성능을 달성하여, HOTA 및 IDF1 지표에서 트랜스포머 기반 추적기 중 1위를 기록한다. MOT17에서는 70.9% IDF1, 59.8% HOTA, 75.8% MOTA를 기록하였고, MOT20에서는 67.5% IDF1, 56.3% HOTA, 73.0% MOTA를 기록하였다.

ABSTRACT

Transformer networks have been a focus of research in many fields in recent years, being able to surpass the state-of-the-art performance in different computer vision tasks. However, in the task of Multiple Object Tracking (MOT), leveraging the power of Transformers remains relatively unexplored. Among the pioneering efforts in this domain, TransCenter, a Transformer-based MOT architecture with dense object queries, demonstrated exceptional tracking capabilities while maintaining reasonable runtime. Nonetheless, one critical aspect in MOT, track displacement estimation, presents room for enhancement to further reduce association errors. In response to this challenge, our paper introduces a novel improvement to TransCenter. We propose a post-processing mechanism grounded in the Track-by-Detection paradigm, aiming to refine the track displacement estimation. Our approach involves the integration of a carefully designed Kalman filter, which incorporates Transformer outputs into measurement error estimation, and the use of an embedding network for target re-identification. This combined strategy yields substantial improvement in the accuracy and robustness of the tracking process. We validate our contributions through comprehensive experiments on the MOTChallenge datasets MOT17 and MOT20, where our proposed approach outperforms other Transformer-based trackers. The code is publicly available at: https://github.com/amitgalor18/STC_Tracker

연구 동기 및 목표

• 트랜스포머 기반 다중 객체 추적 성능을 향상시키기 위해 TransCenter 프레임워크에 후처리 구성 요소를 통합하는 것.
• 장애물에 의한 가림이나 운동 왜곡과 같은 도전적인 추적 환경에서의 ID 전환 및 잘못된 검출 수를 줄이는 것.
• 백본 트랜스포머 아키텍처를 수정하지 않고도 운동 모델링과 외관 기반 재식별을 통해 추적의 강건성을 향상시키는 것.
• 특히 HOTA 및 IDF1 지표에서 정확도와 일관성에 더 민감한 MOTChallenge 벤치마크에서 최신 기술 수준의 결과를 달성하는 것.

제안 방법

• 밀도 있는 객체 쿼리를 특징 맵 전역에서 중심 기반 추적을 위해 생성하는 사전 훈련된 TransCenter 백본을 사용한다.
• 후처리에는 운동 궤적을 추정하고 프레임 간 예측 정확도를 향상시키기 위해 칼만 필터를 사용한다.
• 시각적 유사성 기반으로 검출 결과를 기존 트랙과 매칭하기 위해 학습된 임베딩 네트워크를 활용한 외관 기반 재식별을 수행한다.
• 트랙 연결은 IoU 기반 매칭과 외관 임베딩 거리의 최소값을 사용하며, 고 IoU 임계값을 통한 필터링을 통해 공간 일관성을 확보한다.
• 최적의 할당을 위해 할당 알고리즘은 헝가리안 알고리즘을 활용하며, 운동 및 외관 신호를 통합한다.
• 프레임워크는 검출 및 추적 헤드에서 엔드 투 엔드로 훈련되며, 후처리는 추론 단계에서만 적용된다.

실험 결과

연구 질문

• RQ1 칼만 필터링과 외관 기반 재식별을 통한 후처리가 최신 기술 수준의 트랜스포머 기반 MOT 추적기 성능을 크게 향상시킬 수 있는가?
• RQ2 운동 모델링과 외관 특징의 통합이 장애물에 의한 가림이나 모호한 추적 상황에서 ID 전환 및 거짓 양성률에 어떤 영향을 미치는가?
• RQ3 트랜스포머 기반 추적기에서 운동 예측과 임베딩 기반 재식별을 결합할 경우 HOTA 및 IDF1 지표는 어느 정도 향상되는가?
• RQ4 제안된 방법이 MOT17 및 MOT20과 같은 표준 MOT 벤치마크에서 기존 트랜스포머 기반 추적기보다 우월한 성능을 보이는가?

주요 결과

• Strong-TransCenter는 MOT17 테스트 세트에서 70.9% IDF1, 59.8% HOTA, 75.8% MOTA를 기록하여 트랜스포머 기반 추적기 중 IDF1 및 HOTA 지표에서 1위를 기록하였다.
• MOT20 테스트 세트에서는 67.5% IDF1, 56.3% HOTA, 73.0% MOTA를 기록하여 트랜스포머 기반 추적기 중 세 가지 지표에서 모두 새로운 최신 기술 수준 기록을 수립하였다.
• 정성적 분석 결과, 칼만 필터의 개선된 운동 예측 덕분에 특히 물체가 나타나거나 가려지는 상황에서 ID 전환 오류가 크게 감소한 것으로 나타났다.
• 칼만 필터는 더 정확한 궤적 예측을 가능하게 하여 노이즈가 많은 광학 흐름에 대한 의존도를 낮추고 트랙의 연속성 향상에 기여한다.
• 외관 임베딩과 위치 기반 매칭의 조합은 부분적으로 가려진 경우에도 거짓 양성 및 거짓 음성 수를 줄였으며, 이는 프레임 단위의 시각적 시연을 통해 입증되었다.
• MOTA 성능을 유지하면서도 HOTA 및 IDF1 지표가 크게 향상되어 전체 추적 품질과 정체성 일관성 측면에서 향상된 성능을 보였다.