[논문 리뷰] High Speed Kernelized Correlation Filters without Boundary Effect.

Ming Tang, Linyu Zheng외 2명|arXiv (Cornell University)|2018. 06. 17.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 3

한 줄 요약

이 논문은 힐버트 공간에서 비직교 기저와 실제 영상 패치를 사용하여 경계 효과를 제거함으로써 고속 커널화된 상관 필터 트래커인 nBEKCF를 제안한다. 이로 인해 속도를 희생시키지 않은 채 자연스럽게 커널 트릭을 사용할 수 있으며, 평균적으로 70 fps의 성능을 기록한다. 또한 OTB2013과 OTB2015에서 최신 기술들을 능가한다.

ABSTRACT

Recently, correlation filter based trackers (CF trackers) have attracted much attention in vision community because of their top performance in both location and speed. However, the boundary effect imposed by the periodic assumption for the efficient optimization seriously limits their location accuracy. Although there existed many modern works to relax the boundary effect of CF trackers, they all are not able to eliminate the boundary effect thoroughly as well as exploit the kernel trick to improve their location accuracy, and their speeds are reduced greatly. Either relaxing the boundary effect or being able to exploit kernel trick to improve the accuracy, and either relaxing the boundary effect or keeping CF trackers running at high speed have been two dilemmas in the society of visual tracking. To solve these problems, in this paper, we propose a high speed kernel correlation filter without the boundary effect (nBEKCF). Unlike all current CF trackers which exploited real and virtual image patches to train their regression functions, we construct a set of non-orthogonal bases with a group of circulant basic samples and utilize a function defined in Hilbert space and a set of densely sampled, totally real patches to regress a Gaussian goal. This way, the boundary effect is eliminated thoroughly in theory and the kernel trick can be employed naturally. To ensure nBEKCF runs at high speed, we present two efficient algorithms, ACSII and CCIM, to significantly accelerate the evaluation of kernel matrix without employing FFT. By exploiting the circulant structure of basic samples, the efficiency of CCIM in evaluating correlation exceeds that of FFT remarkably. Preliminary experimental results on two public datasets, OTB2013 and OTB2015, show that, without bells and whistles, nBEKCF outperforms representative trackers with hand-crafted features, in the meanwhile, runs at 70 fps on average.

연구 동기 및 목표

• 주기적 가정으로 인해 위치 정확도가 저하되는 상관 필터 트래커의 지속적인 경계 효과를 해결한다.
• 계산 속도를 희생시키지 않고 정확도를 향상시키기 위해 커널 트릭을 사용할 수 있도록 한다.
• 기존의 CF 트래커에서 정확도(커널화를 통한 향상)와 속도(FFT 회피 최적화를 통한 향상) 사이의 상충 관계를 극복한다.
• 이론적으로 경계 효과를 제거할 수 있는 방법을 개발하며, 새로운 알고리즘 설계를 통해 높은 추론 속도를 유지한다.

제안 방법

• 순환 기본 샘플을 사용하여 비직교 기저의 집합을 구성하여, 힐버트 공간에서 트래킹 필터를 표현한다.
• 밀집 샘플링된 실제 영상 패치와 가우시안 타겟을 사용하여 힐버트 공간에서 회귀 함수를 정의함으로써 가상 패치를 방지한다.
• 정확도 향상을 위해 커널 트릭을 자연스럽게 지원하는 커널화된 회귀로 추적 문제를 공식화한다.
• 기본 샘플의 순환 구조를 활용하여 FFT에 의존하지 않고 커널 행렬 평가를 가속화하는 ACSII 및 CCIM 알고리즘을 도입한다.
• 기본 샘플의 순환 성질을 활용하여 CCIM에서 FFT 기반 방법보다 더 빠른 상관 계산을 가능하게 한다.
• 실제 패치만을 사용하여 필터를 학습함으로써 주기적 확장을 필요로 하지 않으며, 이로 인해 이론적으로 경계 아티팩트를 제거한다.

실험 결과

연구 질문

• RQ1 상관 필터 트래커에서 경계 효과를 이론적으로 제거하면서도 고속 추론을 유지할 수 있는가?
• RQ2 계산 오버헤드가 상당하지 않다면 상관 필터 트래킹에 커널 트릭을 통합할 수 있는가?
• RQ3 특히 순환 구조 샘플의 맥락에서 FFT를 사용하지 않고도 효율적인 커널 행렬 평가를 달성할 수 있는가?
• RQ4 실제 패치 기반의 회귀를 통해 경계 효과를 제거하면 표준 벤치마크에서 추적 정확도가 향상되는가?
• RQ5 손으로 설계한 특징이나 복잡한 후처리에 의존하지 않고도 커널화된 상관 필터가 실시간 성능(예: 70+ fps)을 유지할 수 있는가?

주요 결과

• nBEKCF는 힐버트 공간에서 실제 패치와 비직교 기저를 사용한 새로운 공식화를 통해 상관 필터 트래킹에서 경계 효과를 제거한다.
• 표준 벤치마크에서 평균 70 fps의 속도를 기록하여, 커널화에도 불구하고 높은 효율성을 입증한다.
• 추가적인 기능이나 복잡한 후처리 없이 OTB2013과 OTB2015 데이터셋에서 손으로 설계한 특징을 사용하는 대표적인 트래커들을 능가한다.
• CCIM 알고리즘은 기본 샘플의 순환 구조를 활용하여 상관 평가를 크게 가속화하여, FFT 기반 방법을 능가하는 효율성을 확보한다.
• 제안된 방법은 상관 필터링에 자연스럽게 커널 트릭을 적용할 수 있게 하여 속도를 희생시키지 않고도 위치 정확도를 향상시킨다.
• 가상 확장 대신 실제 영상 패치를 사용함으로써 주기성에 기인한 아티팩트를 제거하여 보다 정확한 타겟 정위치 추정을 가능하게 한다.