[논문 리뷰] Tracking Holistic Object Representations

Axel Sauer, Elie Aljalbout외 1명|arXiv (Cornell University)|2019. 07. 21.

Video Surveillance and Tracking Methods인용 수 17

한 줄 요약

이 논문은 사전 학습된 백본 네트워크를 재학습하지 않고도 추적 성능을 향상시키기 위해 시앙세이 특징 공간에서 다양한 객체 템플릿을 유지하는 플러그-앤플레이 프레임워크를 제안한다. 이는 추적의 정확성과 내성성을 높이며, 더 단순하고 빠른 네트워크 아키텍처를 사용함에도 불구하고 현재 최고 성능(SOTA) 방법보다 3배 빠르게 작동한다.

ABSTRACT

Recent advances in visual tracking are based on siamese feature extractors and template matching. For this category of trackers, latest research focuses on better feature embeddings and similarity measures. In this work, we focus on building holistic object representations for tracking. We propose a framework that is designed to be used on top of previous trackers without any need for further training of the siamese network. The framework leverages the idea of obtaining additional object templates during the tracking process. Since the number of stored templates is limited, our method only keeps the most diverse ones. We achieve this by providing a new diversity measure in the space of siamese features. The obtained representation contains information beyond the ground truth object location provided to the system. It is then useful for tracking itself but also for further tasks which require a visual understanding of objects. Strong empirical results on tracking benchmarks indicate that our method can improve the performance and robustness of the underlying trackers while barely reducing their speed. In addition, our method is able to match current state-of-the-art results, while using a simpler and older network architecture and running three times faster.

연구 동기 및 목표

• 지정된 바운딩 박스를 초월한 통합된 객체 표현을 구축하여 시각 추적 성능을 향상시키는 것.
• 기존의 시앙세이 추적기들이 재학습 없이 추적 중에 동적 템플릿 수집의 이점을 누릴 수 있도록 하는 것.
• 특징 공간에서 새로운 다양성 측정 기준을 통해 내성성을 높이면서도 높은 추적 속도를 유지하는 것.
• 객체 표현에 맥락적 및 구조적 정보를 통합하여 시각 이해가 필요한 후속 작업을 지원하는 것.

제안 방법

• 추적 과정 중에 다양한 공간적 위치와 스케일에서 특징을 샘플링하여 추가적인 객체 템플릿을 수집한다.
• 시앙세이 특징 공간에서 새로운 다양성 측정 기준을 사용해 가장 다양성이 높은 템플릿들만 선택함으로써 고정 크기의 메모리 템플릿을 유지한다.
• 다양성은 시앙세이 네트워크의 임bedding 공간에서 특징의 이질성을 수량화하는 거리 기반 기준을 사용해 측정한다.
• 기존 추적기 위에 플러그인 모듈로 작동하며, 시앙세이 특징 추출기의 미세조정이나 재학습이 필요 없다.
• 최종 표현은 원본 템플릿과 선택된 다양한 템플릿을 결합하여 통합된 객체 모델을 형성한다.
• 계산 효율성이 높도록 설계되어 기반 추적기의 속도를 유지한다.

실험 결과

연구 질문

• RQ1 시앙세이 백본을 재학습하지 않고도 동적 템플릿 수집이 추적 성능 향상에 기여할 수 있는가?
• RQ2 시앙세이 특징 공간에서 다양성 기반의 템플릿 선택 전략이 객체 표현 향상에 얼마나 효과적인가?
• RQ3 경량이며 플러그-앤플레이 모듈이 표준 벤치마크에서 추적기의 내성성과 정확성을 얼마나 향상시킬 수 있는가?
• RQ4 통합 표현을 적용했을 때 더 단순하고 오래된 네트워크 아키텍처가 SOTA 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 현재 최고 성능의 추적기들과 정확성과 속도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 프레임워크는 재학습 없이도 여러 벤치마크 데이터셋에서 기반 추적기의 성능과 내성성을 향상시킨다.
• 더 단순하고 오래된 네트워크 아키텍처를 사용함에도 불구하고 표준 추적 벤치마크에서 최고 성능을 달성한다.
• 현재 최고 성능의 추적기들보다 3배 빠르게 작동함에도 불구하고 정확도는 동등하거나 초월한다.
• 시앙세이 특징 공간에서의 다양성 측정 기준은 구조적 및 맥락적 변형을 효과적으로 포착하여 객체 표현을 향상시킨다.
• 플러그-앤플레이 설계 덕분에 기존 추적기와 원활하게 통합되며, 추적기의 추론 속도를 유지하면서 정확도를 높인다.
• 실증 결과는 특히 가림, 운동 블러와 같은 과도한 조건에서 뚜렷한 정확도 향상을 보여준다.