[논문 리뷰] Understanding and Diagnosing Visual Tracking Systems

Naiyan Wang, Jianping Shi외 2명|arXiv (Cornell University)|2015. 04. 23.

Video Surveillance and Tracking Methods참고 문헌 37인용 수 53

한 줄 요약

이 논문은 시각 추적 시스템을 진단하기 위해 모듈러한 프레임워크를 제안한다. 추적기를 다섯 가지 구성 요소로 분해한다: 운동 모델, 특징 추출기, 관측 모델, 모델 업데이터러, 앙상블 후처리기. 표준 데이터셋에서의 분석을 통해 특징 추출기가 가장 중요한 요소임을 발견했으며, 강력한 특징이 사용될 경우 관측 모델의 영향은 제한적임을 확인했다. 앙상블 후처리기는 특히 다양한 추적기를 사용할 경우 성능을 크게 향상시키며, 단순한 구성 요소조차도 최신 기술 수준의 성능을 달성할 수 있음을 보여준다.

ABSTRACT

Several benchmark datasets for visual tracking research have been proposed in recent years. Despite their usefulness, whether they are sufficient for understanding and diagnosing the strengths and weaknesses of different trackers remains questionable. To address this issue, we propose a framework by breaking a tracker down into five constituent parts, namely, motion model, feature extractor, observation model, model updater, and ensemble post-processor. We then conduct ablative experiments on each component to study how it affects the overall result. Surprisingly, our findings are discrepant with some common beliefs in the visual tracking research community. We find that the feature extractor plays the most important role in a tracker. On the other hand, although the observation model is the focus of many studies, we find that it often brings no significant improvement. Moreover, the motion model and model updater contain many details that could affect the result. Also, the ensemble post-processor can improve the result substantially when the constituent trackers have high diversity. Based on our findings, we put together some very elementary building blocks to give a basic tracker which is competitive in performance to the state-of-the-art trackers. We believe our framework can provide a solid baseline when conducting controlled experiments for visual tracking research.

연구 동기 및 목표

• 전체 시스템 벤치마킹이 구성 요소 수준의 기여도를 가림으로써 시각 추적 연구 분야에서 체계적인 이해가 부족한 문제를 해결하기 위해.
• 추적 커뮤니티에서 일반적으로 공유되는 가정을 도전하기 위해 추적기 구성 요소의 상대적 중요도를 평가하기 위해.
• 각 구성 요소의 영향을 고립하고 진단할 수 있도록 제어된 실험을 위한 표준화된 모듈러 프레임워크를 제공하기 위해.
• 심지어 딥러닝이나 복잡한 아키텍처 없이도 기본적인 구성 요소를 잘 조합하면 최신 기술 수준의 추적 성능을 달성할 수 있음을 보여주어 복잡한 아키텍처에 대한 의존도를 줄이기 위해.

제안 방법

• 시각 추적기를 다섯 가지 모듈러 구성 요소로 분해: 운동 모델, 특징 추출기, 관측 모델, 모델 업데이터러, 앙상블 후처리기.
• OTB 및 VOT와 같은 표준 벤치마크를 사용하여, 다른 요소는 그대로 두고 각 구성 요소를 체계적으로 교체하거나 제거하는 탈리티브 분석을 적용.
• 표준 오프더쉐프 구성 요소(예: HOG, 색상 이름, 선형 SVM, 메트로드 시프트, 리지 회귀)를 사용하여 기본 추적기를 구축.
• 다양한 추적기를 사용한 앙상블 후처리를 통해 성능 향상을 도모하며, 고다양성 및 저다양성 조합 모두를 평가.
• 과도율 곡선의 AUC 및 중심 픽셀 거리와 같은 표준 평가 지표를 사용하여 구성 요소 간 성능을 정량화.
• 다양한 데이터셋과 트랙을 통해 검증하여 구성 요소 수준의 결론이 강건함을 확보.

실험 결과

연구 질문

• RQ1 시각 추적기의 어느 구성 요소가 전체 성능에 가장 큰 영향을 미치는가?
• RQ2 현대 추적 시스템에서 관측 모델과 특징 추출기의 상대적 기여도는 어떻게 비교되는가?
• RQ3 앙상블 후처리는 추적기 성능을 어느 정도 향상시킬 수 있으며, 추적기의 다양성은 이 향상에 어떤 영향을 미치는가?
• RQ4 운동 모델과 모델 업데이터러의 구현 세부 사항은 추적 정확도에 어떤 영향을 미치는가?
• RQ5 기본적이고 교과서적인 구성 요소들로 이루어진 단순한 추적기는 최신 기술 수준의 추적기 성능을 달성할 수 있는가?

주요 결과

• 특징 추출기가 추적기에서 전체 성능에 가장 큰 영향을 미치는 핵심 요소임을 확인했다.
• 강력한 특징이 사용될 경우 관측 모델의 영향은 미미하며, 이는 이전 연구에서 이 구성 요소에 과도하게 집중한 것과 모순된다.
• 모델 업데이터러는 정확도에 상당한 영향을 미치는 미묘한 설계 세부 사항을 내포하고 있으나, 체계적인 설계 방법이 부족하다.
• 앙상블 후처리기는 특히 구성 요소가 다양한 경우에 매우 큰 성능 향상을 가져오며, 효과적일 뿐만 아니라 아직 충분히 탐색되지 않은 기법이다.
• 단순하고 모듈러한 구성 요소들이 신중하게 조합되면, 딥러닝이나 복잡한 아키텍처 없이도 최신 기술 수준의 시스템과 경쟁 가능한 추적기를 생성할 수 있다.
• 운동 모델의 세부 사항, 예를 들어 시간적 일관성과 예측 전략은 추적기의 강건성과 정확도에 측정 가능하고 비트리비얼한 영향을 미친다.