[논문 리뷰] Semantic tracking: Single-target tracking with inter-supervised convolutional networks

Jingjing Xiao, Qiang Lan외 2명|arXiv (Cornell University)|2016. 11. 19.

Video Surveillance and Tracking Methods참고 문헌 13인용 수 3

한 줄 요약

이 논문은 통합된 컨volution 네트워크 아키텍처를 사용하여 단일 타겟 추적과 객체 카테고리 인식을 동시에 수행하는 의미론적 추적기를 제안한다. 공유된 특징 추출기와 카테고리별 분류 및 추적 브랜치를 상호 보완적으로 설계함으로써, OTB-100 벤치마크에서 SOTA 성능을 달성하였으며, AUC 점수 0.572로 38개의 기존 방법을 능가한다.

ABSTRACT

This article presents a semantic tracker which simultaneously tracks a single target and recognises its category. In general, it is hard to design a tracking model suitable for all object categories, e.g., a rigid tracker for a car is not suitable for a deformable gymnast. Category-based trackers usually achieve superior tracking performance for the objects of that specific category, but have difficulties being generalised. Therefore, we propose a novel unified robust tracking framework which explicitly encodes both generic features and category-based features. The tracker consists of a shared convolutional network (NetS), which feeds into two parallel networks, NetC for classification and NetT for tracking. NetS is pre-trained on ImageNet to serve as a generic feature extractor across the different object categories for NetC and NetT. NetC utilises those features within fully connected layers to classify the object category. NetT has multiple branches, corresponding to multiple categories, to distinguish the tracked object from the background. Since each branch in NetT is trained by the videos of a specific category or groups of similar categories, NetT encodes category-based features for tracking. During online tracking, NetC and NetT jointly determine the target regions with the right category and foreground labels for target estimation. To improve the robustness and precision, NetC and NetT inter-supervise each other and trigger network adaptation when their outputs are ambiguous for the same image regions (i.e., when the category label contradicts the foreground/background classification). We have compared the performance of our tracker to other state-of-the-art trackers on a large-scale tracking benchmark (100 sequences)---the obtained results demonstrate the effectiveness of our proposed tracker as it outperformed other 38 state-of-the-art tracking algorithms.

연구 동기 및 목표

• 외관 및 운동 일관성과 같은 히우리스틱 가정에 의존하는 카테고리 무관 추적기의 한계를 해결하기 위해.
• 특정 객체 유형에 국한되어 일반화 능력이 부족한 카테고리 기반 추적기의 한계를 극복하기 위해.
• 일반적인 특징과 카테고리별 특징을 동시에 활용하여 강력하고 일반화 가능한 추적을 위한 통합 프레임워크를 개발하기 위해.
• 초기화 시 타겟 카테고리에 대한 사전 지식이 필요 없이 온라인에서 분류와 추적을 동시에 수행할 수 있도록 하기 위해.
• 추론 중 분류 및 추적 네트워크 간 상호 보조를 통해 추적의 강건성을 향상시키기 위해.

제안 방법

• ImageNet에서 사전 훈련된 공유 컨볼루션 네트워크(NetS)를 사용하여 다양한 객체 카테고리 간의 일반적 특징을 추출한다.
• NetS에서 추출한 특징을 바탕으로 객체 카테고리를 예측하기 위해 분류 네트워크(NetC)를 사용한다.
• 각 브랜치는 특정 카테고리의 영상 데이터로 훈련되어, 카테고리별 전경-배경 특징을 학습하는 다중 브랜치 추적 네트워크(NetT)를 구현한다.
• 온라인 추적 중 NetC가 타겟 카테고리를 식별하고, 첫 번째 프레임의 전경 및 배경 샘플을 사용하여 해당 NetT 브랜치를 미세조정한다.
• NetC와 NetT의 출력을 함께 사용하여 카테고리와 전경 레이블이 일관된 영역을 선택하여 타겟 위치를 결정한다.
• NetC와 NetT의 출력이 상충될 경우 네트워크 적응을 유도하여, 모호한 조건에서의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 일반적 특징과 카테고리별 특징을 효과적으로 융합하는 통합 딥 러닝 프레임워크가 단일 타겟 추적에 유용한가?
• RQ2 분류 및 추적 네트워크 간의 상호 보조가 추적의 강건성과 정확도를 어떻게 향상시키는가?
• RQ3 다양한 객체 카테고리에 걸쳐 일반화 능력을 유지하면서도 높은 성능을 달성할 수 있는가?
• RQ4 카테고리 인식과 추적의 공동 학습이 외관 일관성과 같은 히우리스틱 가정에 대한 의존도를 줄이는가?
• RQ5 변형, 조도 변화, 부분 가림과 같은 도전적인 시각 조건에서 추적기는 어떤 성능을 보이는가?

주요 결과

• 제안된 의미론적 추적기는 OTB-100 벤치마크에서 AUC 점수 0.572를 기록하여 38개의 SOTA 추적 알고리즘을 초월하였다.
• 변형(DEF), 조도 변화(IV), 스케일 변화(SV), 빠른 운동(FM), 시야 외부(OV), 저해상도(LR) 등의 특정 속성을 가진 서브-데이터셋에서, 모든 경우에 최고의 AUC 점수를 기록하였다.
• 조도 변화(IV) 서브-데이터셋과 평면 내 회전(OPR) 서브-데이터셋에서 각각 0.577과 0.544의 AUC 점수로 두 번째로 높은 성능을 기록하였다.
• 변형 및 빠른 운동과 같은 가장 도전적인 서브-데이터셋을 포함하여 총 12개 서브-데이터셋 중 9개에서 두 번째로 뛰어난 방법(HCF)을 능가하였다.
• 주로 카메오플라지드 시나리오에서 실패 사례가 관찰되었으며, 이는 타겟의 외관이 배경과 유사하여 배경과의 구분이 어려운 경우로, 맥락 기반 환경 이해의 필요성을 시사한다.
• NetC와 NetT의 출력이 상충될 경우 상호 보조 메커니즘이 효과적으로 네트워크 적응을 유도하여, 모호한 영역에서의 강건성을 향상시켰다.