[논문 리뷰] Distractor-aware Siamese Networks for Visual Object Tracking

Zheng Zhu, Qiang Wang외 4명|arXiv (Cornell University)|2018. 08. 18.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 85

한 줄 요약

논문은 DaSiamRPN을 소개한다. 이는 시맨틱 음수 페어를 통한 오프라인 학습 강화와 방해물-인식 모듈을 통한 온라인 추론을 가진 주의 분산-인지 싼이 모네트(Siamese) 네트워크이다. 또한 로컬에서 글로벌로의 긴 추적 전략으로 장기 추적을 가능하게 하며, 최첨단 성과와 높은 속도를 달성한다.

ABSTRACT

Recently, Siamese networks have drawn great attention in visual tracking community because of their balanced accuracy and speed. However, features used in most Siamese tracking approaches can only discriminate foreground from the non-semantic backgrounds. The semantic backgrounds are always considered as distractors, which hinders the robustness of Siamese trackers. In this paper, we focus on learning distractor-aware Siamese networks for accurate and long-term tracking. To this end, features used in traditional Siamese trackers are analyzed at first. We observe that the imbalanced distribution of training data makes the learned features less discriminative. During the off-line training phase, an effective sampling strategy is introduced to control this distribution and make the model focus on the semantic distractors. During inference, a novel distractor-aware module is designed to perform incremental learning, which can effectively transfer the general embedding to the current video domain. In addition, we extend the proposed approach for long-term tracking by introducing a simple yet effective local-to-global search region strategy. Extensive experiments on benchmarks show that our approach significantly outperforms the state-of-the-arts, yielding 9.6% relative gain in VOT2016 dataset and 35.9% relative gain in UAV20L dataset. The proposed tracker can perform at 160 FPS on short-term benchmarks and 110 FPS on long-term benchmarks.

연구 동기 및 목표

• 배경의 시맨틱 방해물에 대응하여 시 Siamese 추적기의 견고성을 향상시킨다.
• 오프라인 학습 데이터를 시맨틱 음수와 더 어려운 방해물을 중심으로 균형 있게 구성한다.
• 일반 임베딩을 비디오 도메인에 적응시키기 위한 온라인 증분 학습을 가능하게 한다.
• 효과적인 로컬-투-글로벌 탐색 전략으로 장기 추적에 접근한다.

제안 방법

• 전통적 Siamese 추적 특징의 한계를 분석하고 배경/방해물 불균형을 식별한다.
• 탐지 데이터셋에서 다양한 양의 페어를 만들고 같은/다른 카테고리의 시맨틱 음수 페어를 구성한다.
• 모션 블러를 포함한 비주얼 트래킹에 특화된 데이터 증강 기법을 도입한다.
• 방해물 템플릿으로 유사도 재가중을 수행하는 방해물-의식적 증가 학습 모듈을 개발하고 온라인 업데이트를 가능하게 하는(Equation 4) 모듈을 제안한다.
• 로컬-투-글로벌 탐색 영역 전략과 온라인 실패 탐지 스위치를 통해 장기 추적으로 확장한다.
• 교차 상관관계의 특성을 활용해 빠른 방해물-의식 재랭킹을 가능하게 하여 계산 효율성을 달성한다.

실험 결과

연구 질문

• RQ1 배경/배경 유사 방해물이 Siamese 추적기의 표현 및 성능에 어떤 영향을 미치는가?
• RQ2 시맨틱 음수 페어와 방해물-의식적 온라인 업데이트를 추가하면 속도를 희생하지 않고 견고성이 향상되는가?
• RQ3 로컬-투-글로벌 탐색 전략이 시야를 벗어나거나 가려짐 조건에서 장기 추적 성능을 향상시키는가?

주요 결과

• DaSiamRPN은 VOT2016에서 EAO의 상대 증가 9.6%, UAV20L에서 AUC 61.7% 등 단기 및 장기 벤치마크에서 상당한 개선을 달성했다.
• DaSiamRPN은 단기 벤치마크에서 160 FPS, 장기 벤치마크에서 110 FPS를 달성한다.
• 방해물-의식적 온라인 모듈은 일반 임베딩을 현재 영상 도메인으로 효과적으로 이전시키고 방해물에 대한 견고성을 향상시킨다.
• UAV20L에서 DaSiamRPN은 이전 최고 추적기보다 상대적으로 AUC에서 35.9%, 정밀도에서 34.3%의 성능 향상을 보인다.
• DaSiamRPN은 보고된 실시간 추적기 중 VOT2017에서 1위(EAO 0.326)를 차지했다.
• 이 접근법은 VOT, UAV, OTB 데이터셋에 걸쳐 SiamRPN 및 기타 베이스라인보다 일관되게 향상된다.