[논문 리뷰] Localization-Guided Track: A Deep Association Multi-Object Tracking Framework Based on Localization Confidence of Detections

Ting Meng, Chunyun Fu외 5명|arXiv (Cornell University)|2023. 09. 18.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 검출 박스의 분류 신뢰도 외에도 위치 결정 신뢰도를 활용하여 매칭 정확도를 향상시키는 새로운 딥 어노테이션 다중객체 추적 프레임워크인 Localization-Guided Track (LG-Track)을 제안한다. 비용 행렬에 위치 결정 신뢰도를 통합하고, 신뢰도 인식 연장 기반의 매칭 메커니즘을 설계함으로써, LG-Track는 MOT17 및 MOT20 벤치마크에서 최신 기술을 초월하며, 가림 및 위치 결정 오류에 대한 강건성을 향상시킨다.

ABSTRACT

In currently available literature, no tracking-by-detection (TBD) paradigm-based tracking method has considered the localization confidence of detection boxes. In most TBD-based methods, it is considered that objects of low detection confidence are highly occluded and thus it is a normal practice to directly disregard such objects or to reduce their priority in matching. In addition, appearance similarity is not a factor to consider for matching these objects. However, in terms of the detection confidence fusing classification and localization, objects of low detection confidence may have inaccurate localization but clear appearance; similarly, objects of high detection confidence may have inaccurate localization or unclear appearance; yet these objects are not further classified. In view of these issues, we propose Localization-Guided Track (LG-Track). Firstly, localization confidence is applied in MOT for the first time, with appearance clarity and localization accuracy of detection boxes taken into account, and an effective deep association mechanism is designed; secondly, based on the classification confidence and localization confidence, a more appropriate cost matrix can be selected and used; finally, extensive experiments have been conducted on MOT17 and MOT20 datasets. The results show that our proposed method outperforms the compared state-of-art tracking methods. For the benefit of the community, our code has been made publicly at https://github.com/mengting2023/LG-Track.

연구 동기 및 목표

• 기존의 검출 기반 추적 방법에서 검출 박스의 위치 결정 신뢰도를 忽시하는 한계를 해결하기 위해.
• 객체 매칭에서 외관 명료성과 위치 정확도를 함께 모델링하여 추적 성능을 향상시키기 위해.
• 분류 신뢰도와 위치 결정 신뢰도를 기반으로 특징을 적응적으로 선택하는 비용 행렬을 설계하기 위해.
• 외관은 명확한데 위치 결정이 열악한 저신뢰도 검출에 대해 그에 적절한 고려를 통해 영향을 줄이기 위해.

제안 방법

• 검출 헤드의 출력에서 유도된 위치 결정 신뢰도를 다중객체 추적의 새로운 모odal로 도입한다.
• 분류 신뢰도, 위치 결정 신뢰도, 외관 특징을 융합하는 딥 어노테이션 메커니즘을 설계하여 매칭을 향상시킨다.
• 분류 신뢰도 및 위치 결정 신뢰도 수준에 따라 연장 기반으로 가중치를 적용하는 동적 비용 행렬을 구성한다.
• 외관 임bedding을 신뢰도 인식 특징과 함께 합성하기 위한 학습 가능한 융합 모듈을 사용하여 더 강건한 매칭을 구현한다.
• 검출 및 매칭에 대한 병합 손실을 최적화하여 추적 정확도를 향상시키기 위해 엔드 투 엔드로 모델을 훈련시킨다.
• 매칭 이전에 검출 제안을 개선하기 위해 신뢰도 인식 NMS 및 재정렬 전략을 적용한다.

실험 결과

연구 질문

• RQ1 저신뢰도 검출 상황에서 위치 결정 신뢰도를 통합하면 추적 성능가 어떻게 향상되는가?
• RQ2 신뢰도 인식 비용 행렬은 기존의 외관 전용 또는 신뢰도 전용 매칭보다 우월한가?
• RQ3 높은 분류 신뢰도이지만 위치 결정 정확도가 열악한 객체가 추적 성능에 미치는 영향은 어느 정도이며, 어떻게 더 잘 다룰 수 있는가?
• RQ4 낮은 위치 결정 신뢰도를 가진 검출에서 외관 명료성을 고려하면 추적 강건성이 향상되는가?
• RQ5 제안된 방법은 MOT17 및 MOT20와 같은 다양한 추적 벤치마크에서 일반화되는가?

주요 결과

• LG-Track는 MOT17 및 MOT20 데이터셋에서 최신 기술을 초월하는 최고의 성능을 달성한다.
• 특히 외관 특징가 뚜렷한데 위치 결정이 열악한 객체를 처리할 때 추적 정확도가 크게 향상된다.
• 위치 결정 신뢰도를 통합함으로써 더 신뢰할 수 있는 매칭 결정이 가능해져, 거짓 양성 및 아이덴티티 전환을 줄였다.
• 제거 분석 결과, 분류 신뢰도와 위치 결정 신뢰도 모두 최종 추적 성능에 의미 있는 기여를 한다는 것이 확인되었다.
• 노이즈가 많거나 정확도가 떨어지는 검출에 대해서도 강건성을 유지하며, 과도한 시퀀스에서도 높은 MOTA 및 HOTA 점수를 기록했다.