[논문 리뷰] Convolutional Regression for Visual Tracking

Kai Chen, Wenbing Tao|arXiv (Cornell University)|2016. 11. 14.

Video Surveillance and Tracking Methods참고 문헌 21인용 수 7

한 줄 요약

이 논문은 실제 비합성적 샘플에서 회귀 모델을 학습하기 위해 기존의 분류적 상관 필터(DCF)를 기울기 최적화된 1채널 컨볼루션 레이어로 대체하는 새로운 프레임워크인 컨볼루션 회귀를 위한 시각 추적(CRT)을 제안한다. 무제한의 실제 음성 샘플을 통합하고 자동 하드 음성 샘플 마이닝을 사용함으로써, CRT는 OTB-100과 OTB-50에서 기존의 모든 DCF 기반 추적기들보다 유의미한 격차로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recently, discriminatively learned correlation filters (DCF) has drawn much attention in visual object tracking community. The success of DCF is potentially attributed to the fact that a large amount of samples are utilized to train the ridge regression model and predict the location of object. To solve the regression problem in an efficient way, these samples are all generated by circularly shifting from a search patch. However, these synthetic samples also induce some negative effects which weaken the robustness of DCF based trackers. In this paper, we propose a Convolutional Regression framework for visual tracking (CRT). Instead of learning the linear regression model in a closed form, we try to solve the regression problem by optimizing a one-channel-output convolution layer with Gradient Descent (GD). In particular, the receptive field size of the convolution layer is set to the size of object. Contrary to DCF, it is possible to incorporate all "real" samples clipped from the whole image. A critical issue of the GD approach is that most of the convolutional samples are negative and the contribution of positive samples will be suppressed. To address this problem, we propose a novel Automatic Hard Negative Mining method to eliminate easy negatives and enhance positives. Extensive experiments are conducted on a widely-used benchmark with 100 sequences. The results show that the proposed algorithm achieves outstanding performance and outperforms almost all the existing DCF based algorithms.

연구 동기 및 목표

• 분류적 상관 필터(DCF)의 한계를 해결하기 위해, 과도한 배경 컨텍스트를 포함하고 신뢰도를 제한하는 합성적 순환 이동 샘플에 의존하는 기존 방법의 문제점을 해결한다.
• 학습 및 추론 중 전체 이미지에서 실제 비합성적 샘플을 활용할 수 있는 더 효과적인 회귀 기반 시각 추적 프레임워크를 개발한다.
• 음성 샘플이 양성 샘플보다 95% 이상을 차지하는 클래스 불균형 문제를 해결하기 위해 자동 하드 음성 샘플 마이닝 전략을 도입하여 양성 샘플의 기여도를 높이고 쉬운 음성 샘플을 억제한다.
• 딥 레이어 특징과 기울기 가능하고 종단 간(end-to-end) 학습이 가능한 회귀 모델을 조합함으로써 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 제안된 CRT 프레임워크는 객체 크기와 동일한 수신장 크기를 가진 단일 1채널 출력 컨볼루션 레이어를 사용하여 전체 이미지 패치를 걸쳐 회귀를 수행한다.
• 리지 회귀의 닫힌 형태 해법 대신, 손실 함수를 최소화하기 위해 역전파를 통한 확률적 경사 하강법(SGD)을 사용해 모델 파라미터(가중치 및 바이어스)를 최적화한다.
• DCF 및 SRDCF에서 발생하는 합성 샘플링 편향을 피하기 위해 전체 이미지 위에서 창을 슬라이딩하여 실제 샘플을 추출한다.
• 자동 하드 음성 샘플 마이닝 방법을 도입: 잘린 손실 함수는 쉬운 음성 샘플을 억제하고, 가중치가 부여된 손실 함수는 학습 중 양성 샘플의 기여도를 증가시킨다.
• 딥 레이어 특징(예: VGG-conv-10)과 호환되며, 텐서플로우 및 카페와 같은 딥 러닝 프레임워크에서 구현할 수 있다.
• 쉬운 음성 샘플을 걸러내고 최적화를 어려운 정보성 있는 샘플에 집중함으로써 학습 속도가 향상된다.

실험 결과

연구 질문

• RQ1 기울기 최적화된, 기울기 가능하는 컨볼루션 레이어가 시각 추적에서 리지 회귀의 닫힌 형태 해법을 능가할 수 있는가?
• RQ2 순환 이동 합성 샘플 대신 실제 비합성적 샘플을 사용할 경우 추적기의 강건성과 정확도가 향상되는가?
• RQ3 자동 하드 음성 샘플 마이닝 전략이 음성 샘플이 양성 샘플보다 압도적으로 많은 추적의 클래스 불균형 문제를 효과적으로 완화할 수 있는가?
• RQ4 제안된 컨볼루션 회귀 프레임워크는 OTB-100과 OTB-50와 같은 표준 벤치마크에서 최신 기술 수준의 DCF 기반 추적기들과 비교해 어떻게 성능을 낼 수 있는가?

주요 결과

• CRT는 정밀도와 성공도 플롯 모두에서 OTB-100과 OTB-50에서 모두 1위를 기록하며, 모든 기존의 DCF 기반 추적기들을 능가한다.
• 더 어려운 OTB-50 벤치마크에서, CRT는 이전의 SOTA DCF 기반 추적기인 DeepSRDCF보다 정밀도 8%p, 성공률 6%p 향상되었다.
• OTB-100의 11개 모든 속성에서 CRT는 가장 높은 DP(거리 정밀도) 점수를 기록했으며, 스케일 변동, 평면 외 회전, 저해상도 속성에서 두 번째로 좋은 추적기보다 5%p 이상 향상되었다.
• 정성적 결과는 CRT가 심한 변형, 회전, 배경 혼잡성 상황에서도 객체를 성공적으로 추적하는 반면, SRDCF나 KCF와 같은 DCF 기반 추적기는 배경으로 흐려져 가는 경향이 있음을 보여준다.
• 자동 하드 음성 샘플 마이닝 방법은 쉬운 음성 샘플을 걸러내고 최적화를 어려운 정보성 있는 샘플에 집중함으로써 학습 속도를 크게 향상시킨다.
• 광범위한 실제 음성 샘플의 통합 덕분에 CRT는 특히 스케일 변동과 저해상도와 같은 어려운 상황에서 뛰어난 강건성과 정확도를 보였다.