[논문 리뷰] Do Different Tracking Tasks Require Different Appearance Models?

Zhongdao Wang, Hengshuang Zhao외 4명|arXiv (Cornell University)|2021. 07. 05.

Video Surveillance and Tracking Methods참고 문헌 110인용 수 32

한 줄 요약

UniTrack은 단일, 작업-무관한 appearance 모델과 작업별 헤드를 사용하여 다섯 가지 트래킹 작업(SOT, VOS, MOT, MOTS, PoseTrack)을 다루고, 전파와 연관 원리를 통해 비특화 학습으로도 경쟁력 있는 결과를 낸다.

ABSTRACT

Tracking objects of interest in a video is one of the most popular and widely applicable problems in computer vision. However, with the years, a Cambrian explosion of use cases and benchmarks has fragmented the problem in a multitude of different experimental setups. As a consequence, the literature has fragmented too, and now novel approaches proposed by the community are usually specialised to fit only one specific setup. To understand to what extent this specialisation is necessary, in this work we present UniTrack, a solution to address five different tasks within the same framework. UniTrack consists of a single and task-agnostic appearance model, which can be learned in a supervised or self-supervised fashion, and multiple ``heads'' that address individual tasks and do not require training. We show how most tracking tasks can be solved within this framework, and that the same appearance model can be successfully used to obtain results that are competitive against specialised methods for most of the tasks considered. The framework also allows us to analyse appearance models obtained with the most recent self-supervised methods, thus extending their evaluation and comparison to a larger variety of important problems.

연구 동기 및 목표

• 여러 트래킹 작업을 위한 통합된, 작업-무관한 appearance 표현을 고안한다.
• 공유 표현이 SOT, VOS, MOT, MOTS, PoseTrack에서 경쟁력 있는 성능을 달성할 수 있음을 보인다.
• 공통 appearance 모델과 함께 작동하는 전파(propagation) 및 연관(association) 원리를 도입한다.
• 형식(box, mask, pose) 간의 견고한 연관을 위한 재구성 기반 유사도 측정(metric)을 제안한다.
• 비디오 트래킹을 위한 일반 목적 특징으로서의 자체 감독 표현(self-supervised representations)을 평가한다.

제안 방법

• 프레임에서 고해상도 특징 맵을 추출하기 위해 학습 가능한 일반 appearance 모델 φ를 사용한다.
• 전파(SOT, VOS) 또는 연관(MOT, MOTS, PoseTrack) 원리를 통해 추적 작업을 표현한다.
• 적절한 메커니즘으로 마스크, 박스, 또는 포즈를 전파한다(친화도 기반 마스크 전파; 박스의 경우 교차상관/DCF; 포즈의 경우 가우시안 신념 맵).
• 다양한 관찰 형식 간의 연관을 위한 대칭적 친화도를 계산하기 위해 새로운 재구성 유사도 지수(RSM)를 적용한다.
• 프리미티브에 작동하는 작업 특화 헤드를 부착하여, 작업별 appearance 모델 학습 없이 다섯 가지 트래킹 작업을 해결한다.
• UniTrack 프레임워크 내에서 이미지-레벨, 픽셀-레벨, 비디오 기반의 다양한 자체 감독 표현을 평가한다.

실험 결과

연구 질문

• RQ1 단일 공유 appearance 모델이 다섯 가지 서로 다른 추적 작업에서 경쟁력 있게 작동할 수 있는가?
• RQ2 전파 및 연관 원리가 통합 표현과 어떻게 상호작용하여 SOT, VOS, MOT, MOTS, PoseTrack을 해결하는가?
• RQ3 재구성 기반 유사도 측정이 서로 다른 관찰 형식에서 다중 객체 연관성을 향상시키는가?
• RQ4 통합 트래킹 프레임워크에서 자체 감독 표현과 감독 학습 표현의 영향은 무엇인가?
• RQ5 UniTrack 내 비디오 트래킹에서 자체 감독 비디오 기반 표현이 이미지 기반 표현을 어느 정도까지 능가하는가?

주요 결과

• 적절한 작업 헤드를 결합하면 단일 appearance 모델이 SOT, VOS, MOT, MOTS, PoseTrack에서 경쟁력 있는 성능을 달성할 수 있다.
• 재구성 기반 유사도 지수(RSM)는 미세한 특징을 보존하고 박스, 마스크, 포즈 간의 연관성을 향상시킨다.
• 자체 감독 표현은 특히 VFS와 같은 비디오 기반 표현이 대개 모든 작업에서 1위를 차지하지만, 일반적인 ImageNet 감독은 여전히 많은 설정에서 강력하다.
• ImageNet-감독 특징은 여러 작업에서 놀랍도록 효과적이며, 특화된 방법에 비해 경쟁력 있는 기준선을 제공한다.
• 비디오에서 학습된 SSL 모델은 모션이 많은 비디오 도메인 작업에 이점을 주며, 다운스트림 트래킹 태스크로의 도메인 차이를 줄인다.