[논문 리뷰] High-speed Tracking with Multi-kernel Correlation Filters

Ming Tang, Bin Yu외 2명|arXiv (Cornell University)|2018. 06. 17.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

이 논문은 상호 간섭을 줄이기 위해 상한 최적화를 사용하여 커널화된 상관 필터에서 다중 커널 학습(MKL)을 재구성함으로써, 상관 필터 트래커의 성능을 향상시키는 고속 시각적 트래킹 방법 MKCFup을 제안한다. 이는 커널 간의 상호 간섭을 크게 감소시켜 성능 향상을 이룬다. MKCF와 KCF보다 각각 AUC에서 7%와 16% 높은 성능을 기록하며, 150 fps에서 최신 기술 수준의 정확도를 달성했고, 특히 소동작 시퀀스에서 뛰어난 성능을 보였다.

ABSTRACT

Correlation filter (CF) based trackers are currently ranked top in terms of their performances. Nevertheless, only some of them, such as KCF~\cite{henriques15} and MKCF~\cite{tangm15}, are able to exploit the powerful discriminability of non-linear kernels. Although MKCF achieves more powerful discriminability than KCF through introducing multi-kernel learning (MKL) into KCF, its improvement over KCF is quite limited and its computational burden increases significantly in comparison with KCF. In this paper, we will introduce the MKL into KCF in a different way than MKCF. We reformulate the MKL version of CF objective function with its upper bound, alleviating the negative mutual interference of different kernels significantly. Our novel MKCF tracker, MKCFup, outperforms KCF and MKCF with large margins and can still work at very high fps. Extensive experiments on public datasets show that our method is superior to state-of-the-art algorithms for target objects of small move at very high speed.

연구 동기 및 목표

• 커널화된 상관 필터(KCF)에 비해 기존 다중 커널 상관 필터(MKCF) 트래커의 성능 향상 한계와 높은 계산 비용 문제를 해결한다.
• MKCF에서 서로 다른 커널 간의 부정적 상호 간섭을 줄여 성능을 향상시키되, 속도를 희생시키지 않는다.
• 새로운 최적화 프레임워크를 통해 고속 추론 성능(fps)을 유지하면서도 트래킹 정확도를 크게 향상시킨다.
• 상관 필터 기반 트래킹에서 보완적 특징과 비선형 커널을 효과적으로 활용하여 정확도를 향상시킨다.
• 소동작 시퀀스에서 뛰어난 성능을 내며, 고속과 고정확도가 필수적인 상황에서의 성능 향상을 달성한다.

제안 방법

• MKCF의 목적 함수를 상한으로 재구성하여 커널 학습을 분리하고, 커널 간의 간섭을 줄인다.
• 모델 안정성과 트래킹의 강건성을 향상시키기 위해 이전 샘플을 상한 형식에 통합한다.
• 이중 변수 벡터 d를 효율적인 반복적 방법으로 최적화하여 기존 MKCF 방법보다 학습 효율성을 향상시킨다.
• 상관 필터의 순환 구조를 활용해 푸리에 도메인 계산을 유지함으로써 고속 추론 성능을 보존한다.
• 비선형 커널(RBF, 다항식 등)을 사용한 다중 커널 학습(MKL)을 적용하여 성능 향상과 함께 계산 효율성을 유지를 한다.
• 경계 효과를 완화하기 위해 공간 정규화와 샘플 가중치 전략을 도입하여 국소화 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 MKCF에서 커널 간 상호 간섭을 효과적으로 줄일 수 있는가? 이는 계산 비용 증가 없이 정확도 향상에 기여하는가?
• RQ2 MKCF 목적 함수의 상한 최적화를 통해 원래 수식보다 더 나은 일반화 및 분류 성능 달성 가능할까?
• RQ3 MKL과 상관 필터를 조합함으로써 100 fps 이상 유지하면서도 뛰어난 정확도를 갖춘 고속 트래커를 구현할 수 있는가?
• RQ4 소동작 시퀀스에서 제안된 방법의 성능는 어떠한가? 고정밀도와 고속이 필수적인 상황에서의 성능가치는 무엇인가?
• RQ5 ECO_HC나 SRDCF와 비교했을 때, MKCFup과 같은 고속 트래커에서 검색 영역 크기와 정확도 간의 상충 관계는 어떠한가?

주요 결과

• OTB2013에서 MKCFup은 평균 AUC 64.1%를 기록했으며, MKCF보다 6.8% 높고 fMKCF보다 4.9% 높다.
• OTB2013의 소동작 시퀀스에서 MKCFup은 SRDCF보다 평균 정밀도 3.1% 향상되고 AUC 2.7% 향상되었으며, ECO_HC보다 각각 1.6%와 1.5% 향상되었다.
• NfS의 소동작 시퀀스에서 MKCFup은 SRDCF보다 평균 정밀도 7.6% 향상되고 AUC 6.6% 향상되었으며, ECO_HC보다 각각 0.5%와 2.1% 향상되었다.
• MKCFup은 150 fps로 작동하여 MKCF(30 fps)와 ECO_HC(39 fps)보다 훨씬 빠르며, 소동작 시퀀스에서 더 높은 정확도를 확보했다.
• KCF에 비해 AUC에서 16% 향상되었고, KCFscale에 비해 7% 향상되어 분류 능력 향상이 뚜렷하게 입증되었다.
• ECO_HC보다 더 작은 검색 영역을 사용했음에도 불구하고 소동작 시퀀스에서 슈퍼어리어를 기록했으며, 이는 향상된 특징 분류 능력과 국소화 정확도를 의미한다.