[논문 리뷰] Local Metrics for Multi-Object Tracking

Jack Valmadre, Alex Bewley외 4명|arXiv (Cornell University)|2021. 04. 06.

Video Surveillance and Tracking Methods참고 문헌 78인용 수 8

한 줄 요약

이 논문은 다중 객체 추적을 위한 국소적 지표인 ALTA (평균 국소 추적 정확도)를 소개한다. ALTA는 엄격한 지표인 ATA를 보완하여 시간 창 파rameter를 도입함으로써 유한한 시간 창 내에서 추적 성능을 평가할 수 있도록 한다. 이 방법은 연속적인 연관 오류 분석을 가능하게 하여, MAT 및 Lif_T와 같은 추적기는 장기적인 시간 창에서도 정체성을 잘 유지하는 반면, TubeTK와 같은 단기 추적기는 빠르게 성능이 떨어지는 것을 드러내며, ALTA가 탐지 성능과 무관하게 연관 정확도에 대해 더 민감한 성능을 보임을 입증한다.

ABSTRACT

This paper introduces temporally local metrics for Multi-Object Tracking. These metrics are obtained by restricting existing metrics based on track matching to a finite temporal horizon, and provide new insight into the ability of trackers to maintain identity over time. Moreover, the horizon parameter offers a novel, meaningful mechanism by which to define the relative importance of detection and association, a common dilemma in applications where imperfect association is tolerable. It is shown that the historical Average Tracking Accuracy (ATA) metric exhibits superior sensitivity to association, enabling its proposed local variant, ALTA, to capture a wide range of characteristics. In particular, ALTA is better equipped to identify advances in association independent of detection. The paper further presents an error decomposition for ATA that reveals the impact of four distinct error types and is equally applicable to ALTA. The diagnostic capabilities of ALTA are demonstrated on the MOT 2017 and Waymo Open Dataset benchmarks.

연구 동기 및 목표

• 기존 다중 객체 추적 지표의 시간적 민감도 부족과 오류 유형의 구분 불가 문제를 해결하기 위해.
• 조정 가능한 시간 창 파rameter를 통해 탐지 성능과 연관 성능의 균형을 이루는 의미 있는 메커니즘을 제공하기 위해.
• ATA를 네 가지 다른 오류 유형으로 분해함으로써 추적 오류를 진단할 수 있도록 하기 위해.
• ALTA를 사용하여 MOT 2017 및 Waymo Open Dataset에서 최신 추적기를 평가함으로써 시간에 따른 정체성 유지 능력의 성능 차이를 드러내기 위해.
• ALTA가 전통적인 지표인 IDF1 또는 MOTA보다 연관 개선에 더 민감하게 반응함을 입증하기 위해.

제안 방법

• ATA의 국소적 변종인 ALTA를 제안하여, 각 프레임 t 주변의 유한한 시간 창 r 내에서 트랙 매칭을 제한한다.
• 공간-시간 IoU를 사용하여 시간 창 내에서 트랙 유사도를 계산함으로써 프레임 수준의 대응 관계를 확립한다.
• ATA를 네 가지 별개의 오류 유형으로 분해하는 진단적 오류 분해법을 도입한다: 가짜 양성, 가짜 음성, 정체성 전환, 누락 탐지.
• ALTA에도 동일한 분해법을 적용하여, 다양한 시간 창 길이에서 오류 유형의 변화를 분석할 수 있도록 한다.
• 시간 창 파rameter를 활용해 응용 분야에 맞는 평가 기준을 정의하며, 긴 시간 창은 장기적인 정체성 일관성 강조한다.
• 최신 추적기를 사용하여 MOT 2017 및 Waymo Open Dataset 벤치마크에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 정체성 유지의 시간적 동역학에 민감한 추적 지표는 어떻게 설계할 수 있는가?
• RQ2 탐지 성능과의 분리가 가능하고 연관 성능을 보다 잘 고립해 평가할 수 있는 국소 지표는 어떻게 설계할 수 있는가?
• RQ3 다양한 추적기 아키텍처는 시간 창이 변화함에 따라 정체성 일관성 측면에서 어떻게 성능을 발휘하는가?
• RQ4 추적 성능에서 오류 유형의 분포는 어떻게 되며, 시간 창 파rameter 변화에 따라 어떻게 변화하는가?
• RQ5 ALTA는 MOTA, IDF1, HOTA와 같은 기존 지표보다 더 나은 진단적 통찰을 제공하는가?

주요 결과

• ALTA는 IDF1 및 MOTA보다 연관 개선에 더 뛰어난 민감도를 보이며, 특히 장기적인 정체성 유지 향상 여부를 감지하는 데 유리하다.
• MAT 및 Lif_T와 같은 추적기는 시간 창이 증가함에 따라도 높은 ALTA 점수를 유지하며, 강력한 장기 추적 능력을 보여준다.
• TubeTK와 같은 추적기는 높은 탐지 정확도를 보이지만, 시간 창이 길어질수록 ALTA 성능이 급격히 떨어지며, 단기적 의존성의 특징을 드러낸다.
• ATA의 오류 분해 분석 결과, 정체성 전환과 가짜 음성이 주요 오류 유형이며, 이들의 기여도는 시간 창 길이에 따라 변화한다.
• Waymo Open Dataset에서 Quasi-Dense R101은 보행자에 대해 ALTA(5s) 점수 0.458을 기록하여 장기적 정체성 일관성에서 다른 추적기들을 압도한다.
• ATA/DetF1 비율이 유의미한 진단 지표임을 입증하였으며, 이 비율이 클수록 탐지 성능 대비 연관 성능이 뛰어나다는 것을 의미한다.