[논문 리뷰] Robust Visual Tracking via Convolutional Networks

Kaihua Zhang, Qingshan Liu외 2명|arXiv (Cornell University)|2015. 01. 19.

Video Surveillance and Tracking Methods참고 문헌 44인용 수 18

한 줄 요약

이 논문은 첫 번째 프레임에서 k-means로 추출된 필터를 사용하여 대상 객체로부터 직접 분류 능력이 뛰어나고 희소이며 강건한 시각적 표현을 학습하는 경량의 이중층 컨볼루션 신경망 트래커(CNT)를 제안한다. 적응형 맥락 필터링과 노이즈 제거를 위한 소프트 셰이핑을 통해 국소적인 구조적 및 기하학적 레이아웃 정보를 활용함으로써, 오프라인 사전 훈련 없이도 CVPR2013 벤치마크에서 최신 기술 수준의 성능을 달성하며, 음영, 척도 변화, 조명 변화에 대한 처리 능력에서 여러 고급 방법들을 능가한다.

ABSTRACT

Deep networks have been successfully applied to visual tracking by learning a generic representation offline from numerous training images. However the offline training is time-consuming and the learned generic representation may be less discriminative for tracking specific objects. In this paper we present that, even without offline training with a large amount of auxiliary data, simple two-layer convolutional networks can be powerful enough to develop a robust representation for visual tracking. In the first frame, we employ the k-means algorithm to extract a set of normalized patches from the target region as fixed filters, which integrate a series of adaptive contextual filters surrounding the target to define a set of feature maps in the subsequent frames. These maps measure similarities between each filter and the useful local intensity patterns across the target, thereby encoding its local structural information. Furthermore, all the maps form together a global representation, which is built on mid-level features, thereby remaining close to image-level information, and hence the inner geometric layout of the target is also well preserved. A simple soft shrinkage method with an adaptive threshold is employed to de-noise the global representation, resulting in a robust sparse representation. The representation is updated via a simple and effective online strategy, allowing it to robustly adapt to target appearance variations. Our convolution networks have surprisingly lightweight structure, yet perform favorably against several state-of-the-art methods on the CVPR2013 tracking benchmark dataset with 50 challenging videos.

연구 동기 및 목표

• 대규모 오프라인 사전 훈련 및 보조 데이터에 의존하지 않는 강건한 시각적 트래킹 방법을 개발하는 것.
• 대상의 국소적 구조적 및 기하학적 레이아웃 정보를 활용하여 배경과의 분류 능력을 향상시키는 것.
• 외관 변화(예: 조명 변화, 음영, 척도 이동 등)를 효과적으로 다룰 수 있는 경량이고 온라인으로 적응 가능한 표현을 설계하는 것.
• 단순한 이중층 컨볼루션 신경망이 복잡한 아키텍처나 사전 훈련 모델 없이도 경쟁 가능한 트래킹 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 첫 번째 프레임의 대상 영역에서 추출한 정규화된 패치에 대해 k-means 군집화를 수행하여 고정된 필터를 학습하고, 이후 프레임에 적용한다.
• 주변 맥락 영역에서 추출한 정규화된 패치의 집합도 함께 사용하여 적응형 맥락 정보를 캡처하는 데 활용한다.
• 이 필터들을 후속 프레임의 정규화된 이미지 패치와 컨볼루션하여 국소적인 강도 패턴과 구조적 세부 정보를 인코딩한 특징 맵을 생성한다.
• 결과로 생성된 특징 맵을 융합하여 대상의 내부 기하학적 레이아웃과 이미지 수준의 구조를 유지하는 글로벌 중간 수준의 표현을 형성한다.
• 적응형 임계값을 가진 소프트 셰이핑 방법을 적용하여 글로벌 표현의 노이즈를 제거하고 강건하고 희소한 특징 벡터를 생성한다.
• 외관 변화에 대응하기 위해 단순한 전략을 사용해 온라인으로 표현을 갱신함으로써 실시간으로 강건한 트래킹을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모 보조 데이터셋에 대한 오프라인 사전 훈련 없이도, 경량의 이중층 컨볼루션 신경망이 경쟁 가능한 트래킹 성능을 달성할 수 있는가?
• RQ2 국소적 구조적 및 기하학적 레이아웃 정보 기반의 표현은 외관 변화 상황에서 트래킹에 얼마나 효과적인가?
• RQ3 k-means로 학습된 필터와 무작위 필터 간의 트래킹 강건성에 미치는 기여도는 어떠한가?
• RQ4 소프트 셰이핑은 특징 표현의 희소성과 노이즈에 대한 내성에 어떻게 기여하는가?
• RQ5 온라인 갱신 전략은 척도 변화와 음영 상황에서 트래킹 정확도를 얼마나 잘 유지하는가?

주요 결과

• 제안된 CNT는 CVPR2013 벤치마크에서 AUC 점수 0.545를 기록하여 복잡한 트래킹 과제를 다룰 때 DLT 기준선 및 기타 최신 기술 수준의 방법들을 뛰어넘는 성능을 보였다.
• 소프트 셰이핑 구성 요소를 제거하면 AUC 점수가 0.469로 떨어지며, 이는 노이즈 억제 및 표현 강건성 확보에 있어 그 핵심적인 역할을 함을 입증한다.
• k-means로 학습된 필터를 무작위 패치로 대체하면 AUC 점수가 약 7% 감소하여 분류 능력이 뛰어난 필터 선택의 중요성을 확인한다.
• david, freeman3, singer1 시퀀스에서 심한 척도 변화가 발생하는 상황에서도 CNT는 KCF, Struck, VTS가 척도 추정 오류로 실패하는 상황에서도 목표를 성공적으로 트래킹했다.
• jogging-1, suv, woman 등의 무거운 음영 상황에서 CNT는 대부분의 경쟁자보다 트래킹 성능을 더 잘 유지하며 부분적 또는 완전한 음영 이후에 목표를 재검색하는 데 성공했다.
• 풀링 레이어가 없기 때문에 고해상도 공간 정보와 기하학적 레이아웃을 유지할 수 있어, 트래킹에서 정확한 국소화에 필수적인 요소이다.