[논문 리뷰] Target-Aware Deep Tracking

Xin Li, Chao Ma외 3명|arXiv (Cornell University)|2019. 04. 03.

Video Surveillance and Tracking Methods참고 문헌 50인용 수 31

한 줄 요약

이 논문은 회귀 손실 및 랭킹 손실을 사용하여 사전 훈련된 CNN에서 기울기 기반 필터 선택을 활용하여 목표물 인식 기반 딥 특징을 제안한다. 이 방법은 목표물에 맞게 조정된 분류 능력이 뛰어나고, 척도 민감도가 높은 필터를 식별하여 OTB-2015, VOT-2015 및 Temple Color-128 데이터셋에서 최신 기술 대비 추적 정확도와 속도를 크게 향상시킨다.

ABSTRACT

Existing deep trackers mainly use convolutional neural networks pre-trained for generic object recognition task for representations. Despite demonstrated successes for numerous vision tasks, the contributions of using pre-trained deep features for visual tracking are not as significant as that for object recognition. The key issue is that in visual tracking the targets of interest can be arbitrary object class with arbitrary forms. As such, pre-trained deep features are less effective in modeling these targets of arbitrary forms for distinguishing them from the background. In this paper, we propose a novel scheme to learn target-aware features, which can better recognize the targets undergoing significant appearance variations than pre-trained deep features. To this end, we develop a regression loss and a ranking loss to guide the generation of target-active and scale-sensitive features. We identify the importance of each convolutional filter according to the back-propagated gradients and select the target-aware features based on activations for representing the targets. The target-aware features are integrated with a Siamese matching network for visual tracking. Extensive experimental results show that the proposed algorithm performs favorably against the state-of-the-art methods in terms of accuracy and speed.

연구 동기 및 목표

• 목표물의 형태가 임의적이고 객체 인식 능력이 부족한 사전 훈련된 딥 특징의 한계를 해결하기 위해.
• 복잡한 배경과 간섭 물체를 구분하는 데에 약한 분류 능력을 보이는 일반 특징의 문제를 해결하기 위해.
• 추적을 위해 가장 관련성이 높은 컨볼루션 필터만 선택하여 계산 비용을 줄이기 위해.
• 특징 학습을 목표에 맞게 조정하여 외관 변화와 척도 변화에 대한 추적의 강건성을 향상시키기 위해.
• 기존 최신 기술 대비 정확도와 추론 속도에서 뛰어난 성능을 보이는 경량 실시간 추적기를 개발하기 위해.

제안 방법

• 분류 헤드에서 역전파된 기울기를 사용하여 각 컨볼루션 필터가 목표 물체에 대해 얼마나 중요한지 식별한다.
• 부드러운 레이블을 가우시안 함수에서 유도한 특징와 일치시키기 위해 힌지 회귀 손실을 적용하여 목표물 활성화를 촉진한다.
• 목표물과 부정적 샘플 간의 특징 거리 비교를 통해 척도 민감도가 높은 특징을 학습하기 위해 쌍별 랭킹 손실을 도입한다.
• 두 손실에서 유도된 기울기 크기를 기반으로 가장 중요한 필터를 선택하여 압축된 목표물 인식 기반 특징 표현을 구성한다.
• 선택된 목표물 인식 기반 특징을 시아모닉 추적 프레임워크에 통합하여 엔드 투 엔드 추적 추론을 수행한다.
• t-SNE 시각화를 활용하여 사전 훈련된 특징 대비 목표물 인식 기반 특징의 클래스 간 및 클래스 내 분리도 향상됨을 입증한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN에서 기울기 기반 필터 선택이 시각 추적을 위한 특징의 분류 능력을 향상시킬 수 있는가?
• RQ2 회귀 손실과 랭킹 손실을 함께 사용하면 단독으로 사용할 경우보다 더 나은 목표물 인식 기반 특징 학습을 이끌 수 있는가?
• RQ3 목표물 인식 기반 특징은 정확도를 유지하거나 향상시키면서도 계산 비용을 줄일 수 있는가?
• RQ4 실세계 추적 시나리오에서 외관 변화와 척도 변화를 다루는 데에 목표물 인식 기반 특징이 얼마나 효과적인가?
• RQ5 표준 사전 훈련된 특징에 비해 다양한 벤치마크 데이터셋에서 목표물 인식 기반 특징이 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 추적기는 OTB-2015에서 AUC 점수 0.660을 기록하여 정확도와 속도 면에서 모든 최신 기술 대비 뛰어난 성능을 보였다.
• Temple Color-128 데이터셋에서 추적기는 온라인 적응 기능 없이도 AUC 0.562를 기록하여 실시간 추적기 중 최고 성능을 달성했다.
• 제거 실험 결과, 회귀 손실만 사용할 경우 무작위 필터 선택 대비 AUC가 +4.3% (Conv4-1) 및 +4.9% (Conv4-3) 향상됨을 확인했다.
• 회귀 손실과 랭킹 손실을 병합하면 OTB-2013에서 +1.8%의 AUC 향상과 OTB-2015에서 +1.6%의 AUC 향상이 이루어져 상호 보완적 이점이 있음을 입증했다.
• t-SNE 시각화를 통해 목표물 인식 기반 특징이 클래스 간 및 클래스 내 분리도를 크게 향상시킴을 검증했다.
• 추적기는 33.7 FPS로 실시간 성능을 달성하면서도 여러 벤치마크에서 고정확도를 유지했다.