[논문 리뷰] TracKlinic: Diagnosis of Challenge Factors in Visual Tracking

Heng Fan, Fan Yang외 3명|arXiv (Cornell University)|2019. 11. 18.

Video Surveillance and Tracking Methods참고 문헌 47인용 수 8

한 줄 요약

TracKlinic는 하나의 주요 도전 과제 요인(예: 가림, 흐림, 형태 변화)만 포함하는 2,390개의 영상 벤치마크를 제공함으로써 정밀하고 요인별 분석이 가능한 시각 추적 진단 툴킷이다. 이는 추적기 간의 신뢰할 수 있는 평가 및 비교를 가능하게 하며, 특히 무거운 형태 변화와 가림이 가장 도전적인 요인임을 드러내며, 낮은 빈도에도 불구하고 시야 외부로 벗어나면 거의 항상 추적기가 실패함을 확인한다.

ABSTRACT

Generic visual tracking is difficult due to many challenge factors (e.g., occlusion, blur, etc.). Each of these factors may cause serious problems for a tracking algorithm, and when they work together can make things even more complicated. Despite a great amount of efforts devoted to understanding the behavior of tracking algorithms, reliable and quantifiable ways for studying the per factor tracking behavior remain barely available. Addressing this issue, in this paper we contribute to the community a tracking diagnosis toolkit, TracKlinic, for diagnosis of challenge factors of tracking algorithms. TracKlinic consists of two novel components focusing on the data and analysis aspects, respectively. For the data component, we carefully prepare a set of 2,390 annotated videos, each involving one and only one major challenge factor. When analyzing an algorithm for a specific challenge factor, such one-factor-per-sequence rule greatly inhibits the disturbance from other factors and consequently leads to more faithful analysis. For the analysis component, given the tracking results on all sequences, it investigates the behavior of the tracker under each individual factor and generates the report automatically. With TracKlinic, a thorough study is conducted on ten state-of-the-art trackers on nine challenge factors (including two compound ones). The results suggest that, heavy shape variation and occlusion are the two most challenging factors faced by most trackers. Besides, out-of-view, though does not happen frequently, is often fatal. By sharing TracKlinic, we expect to make it much easier for diagnosing tracking algorithms, and to thus facilitate developing better ones.

연구 동기 및 목표

• 다중 동시 도전 과제 요인이 존재하는 시각 추적 벤치마크에서 요인별 신뢰성 있는 평가의 부족을 해결하기 위해.
• 다른 요인이 간섭하지 않도록 하여, 각 도전 과제 요인에 대해 추적기 행동을 충실하게 진단할 수 있도록 하기 위해.
• 프레임 수준의 주석이 있는 대규모 고품질 벤치마크를 제공하여 추적 실패의 체계적 분석을 가능하게 하기 위해.
• 특정 도전 과제 요인에 대해 최신 추적기 간의 공정한 비교를 촉진하기 위해.
• 통제된 조건에서 추적기의 강건성, 일관성 및 실패 패턴에 대한 이해를 향상시키기 위해.

제안 방법

• OTB-2015, TC-128, LaSOT의 461개 영상에 대해 7개의 도전 과제 요인을 프레임 수준에서 주석 처리하여 총 776만 건의 주석을 생성하였다.
• 각 시퀀스가 오직 하나의 주요 도전 과제 요인만 포함하도록 2,390개의 시퀀스를 추출하여 TracKlinic를 구축함으로써 분석에 대한 신뢰성을 확보하였다.
• 성공 점수(임계값 0.5)와 실패율 지표를 사용하여 각 요인에 대해 추적기 성능을 평가하는 자동화된 분석 파이프라인을 설계하였다.
• 성공 점수의 분산을 측정하여 추적기의 다양한 도전 과제 요인에 대한 성능 일관성을 평가함으로써 안정성을 분석하였다.
• 딥 페처와 바운딩 박스 회귀/IoU 예측을 적용하여 모델 설계가 요인별 강건성에 미치는 영향을 평가하였다.
• 10개의 최신 추적기에서 9개의 도전 과제 요인(복합 요인 포함)에 대해 정성적 및 정량적 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 가림이나 운동 흐림과 같은 단일 도전 과제 요인으로 고립된 시각 추적 알고리즘이 어떻게 성능을 발휘하는가?
• RQ2 어느 도전 과제 요인이 추적기 성능에 가장 해로운가? 그리고 다양한 추적기 간 실패율은 어떻게 달라지는가?
• RQ3 추적기는 다양한 종류의 도전 과제 요인을 다룰 때 얼마나 일관성이 있는가? 어떤 요인이 가장 높은 성능 분산을 유도하는가?
• RQ4 딥 페처와 특정 설계 요소(예: IoU 예측)가 특정 요인에 대한 강건성에 미치는 상대적 영향은 무엇인가?
• RQ5 가림과 동시에 회전이나 배경 혼잡이 함께 발생하는 복합 요인은 단일 요인에 비해 추적기의 실패율에 어떻게 영향을 미치는가?

주요 결과

• 가림과 무거운 형태 변화는 두 번째로 도전적인 요인으로, 여러 추적기의 실패율이 40%를 초과한다.
• 시야 외부로 벗어남은 빈도는 낮지만 가장 치명적인 요인으로, 거의 항상 추적기의 완전한 실패를 초래한다.
• DiMP는 9개의 도전 과제 요인 중 8개에서 가장 뛰어난 성능을 보이며, 특히 효과적인 배경 모델링 덕분에 배경 혼잡 상황에서 뛰어난 성능을 발휘한다.
• 모든 추적기가 조명 변화에 대해 강건성을 보이며, 실패율이 5% 이하로 낮게 유지되어 딥 페처가 이 요인을 효과적으로 완화함을 시사한다.
• IoU-Net 기반 추적기는 RPN 기반 추적기보다 목표 상태 추정에서 略적으로 뛰어나, 회귀 정확도의 우수함을 보여준다.
• 시야 외부와 배경 혼잡 상황에서는 성능 일관성이 낮아, 고복잡도 환경에서의 불안정성을 나타낸다.