[논문 리뷰] Learning Support Correlation Filters for Visual Tracking

Wangmeng Zuo, Xiaohe Wu외 3명|arXiv (Cornell University)|2016. 01. 22.

Video Surveillance and Tracking Methods참고 문헌 41인용 수 26

한 줄 요약

이 논문은 밀집 샘플링된 이미지 패치의 순환 구조와 이산 푸리에 변환을 활용하여 실시간 성능를 달성하는 효율적인 SVM 기반 시각 추적 방법인 서포트 상관 필터(Support Correlation Filters, SCFs)를 제안한다. SVM 학습을 반복적인 상관 필터 최적화 문제로 재구성함으로써 계산 복잡도를 O(n⁴)에서 O(n² log n)로 감소시켜, 다중 채널, 커널화, 스케일 적응형 확장 기반으로 최신 기준 데이터셋에서 최고 수준의 정확도를 달성한 빠르고 정확한 추적을 가능하게 한다.

ABSTRACT

Sampling and budgeting training examples are two essential factors in tracking algorithms based on support vector machines (SVMs) as a trade-off between accuracy and efficiency. Recently, the circulant matrix formed by dense sampling of translated image patches has been utilized in correlation filters for fast tracking. In this paper, we derive an equivalent formulation of a SVM model with circulant matrix expression and present an efficient alternating optimization method for visual tracking. We incorporate the discrete Fourier transform with the proposed alternating optimization process, and pose the tracking problem as an iterative learning of support correlation filters (SCFs) which find the global optimal solution with real-time performance. For a given circulant data matrix with n^2 samples of size n*n, the computational complexity of the proposed algorithm is O(n^2*logn) whereas that of the standard SVM-based approaches is at least O(n^4). In addition, we extend the SCF-based tracking algorithm with multi-channel features, kernel functions, and scale-adaptive approaches to further improve the tracking performance. Experimental results on a large benchmark dataset show that the proposed SCF-based algorithms perform favorably against the state-of-the-art tracking methods in terms of accuracy and speed.

연구 동기 및 목표

• 순환 행렬 구조를 활용하여 SVM 기반 시각 추적에서 정확도와 효율성 간의 상충 관계를 해결한다.
• 상관 필터와 푸리에 변환을 이용한 학습 문제 재구성으로 SVM 기반 추적에서 실시간 성능를 달성한다.
• 낮은 계산 비용으로 전역 수렴을 달성하는 효율적인 교차 최적화 알고리즘을 개발한다.
• 다중 채널, 커널화, 스케일 적응형 환경으로 SCF 프레임워크를 확장하여 강건성과 추적 정확도를 향상시킨다.

제안 방법

• 순환 데이터 행렬을 갖는 SVM 학습 문제를 등가의 서포트 상관 필터(SCF) 최적화 문제로 재구성한다.
• 비확장성 연산자를 사용하여 필터 가중치와 슬랙 변수를 반복적으로 갱신하는 교차 최적화 기법을 도입한다.
• 학습 데이터 행렬의 순환 구조를 활용하여 이산 푸리에 변환(DFT)을 통해 계산을 가속화한다.
• 제안된 반복 갱신 규칙 하에 전역 최적해로 수렴하는 수렴 증명을 유도한다.
• 스펙트럼 반경 분석을 통한 고정점 반복 프레임워크를 도입하여 q-선형 수렴을 보장한다.
• 다중 채널 SCF(MSCF), 커널화된 SCF(KSCF), 스케일 적응형 KSCF(SKSCF)로 확장하여 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 밀집 샘플링된 이미지 패치의 순환 구조를 활용하여 SVM 기반 시각 추적의 속도를 향상시킬 수 있는가?
• RQ2 실시간 계산 복잡도를 확보하면서도 SVM 기반 추적에서 전역 최적성을 달성할 수 있는가?
• RQ3 제안된 SCF 프레임워크는 기존의 회귀 기반 및 SVM 기반 추적기와 비교해 정확도와 속도 면에서 어떻게 성능을 내는가?
• RQ4 SCF 프레임워크는 다중 채널, 커널화, 스케일 적응형 환경으로 효과적으로 확장되어 강건한 추적을 가능하게 하는가?
• RQ5 제안된 교차 최적화 알고리즘의 수렴 행동과 수렴 속도는 어떠한가?

주요 결과

• 제안된 SCF 알고리즘은 표준 SVM 기반 접근 방식의 O(n⁴) 복잡도보다 훨씬 낮은 O(n² log n)의 계산 복잡도를 달성한다.
• 비확장성 연산자를 사용한 고정점 수렴 분석을 통해 알고리즘이 전역 최적해로 수렴함을 증명하였다.
• KSCF 변형은 대규모 기준 데이터셋에서 기존 최신 기술의 회귀 기반 상관 필터 추적기보다 정확도와 속도 면에서 뛰어난 성능을 보였다.
• SKSCF 확장은 스케일 변화가 발생하는 도전적인 시퀀스에서 뛰어난 성능을 달성하여 스케일 적응 메커니즘의 효과를 입증하였다.
• 이론적으로 q-선형 수렴 속도를 확립하였으며, 수렴 인자는 변환 행렬 T의 스펙트럼 반경에 의해 유계로 제한된다.
• 실험 결과로 제안된 KSCF 및 SKSCF 방법이 기존의 SVM 기반 및 앙상블 추적 방법보다 추적 정확도와 강건성 면에서 뛰어난 성능을 보였다.