[논문 리뷰] Learning Background-Aware Correlation Filters for Visual Tracking

Hamed Kiani Galoogahi, Ashton Fagg외 1명|arXiv (Cornell University)|2017. 03. 14.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 70

한 줄 요약

이 논문은 Background-Aware Correlation Filters (BACF)를 소개합니다. 이는 타깃뿐만 아니라 실제 배경 패치에서 학습하여 실시간이며 정확한 시각 추적을 가능하게 하며, 가공된 특징(hand-crafted features) 위주로 경량의 심층 학습 없이도 작동합니다. Fourier 도메인에서 ADMM 기반 최적화와 온라인 업데이트, 효율성을 위한 Sherman-Morrison 숏컷을 사용합니다.

ABSTRACT

Correlation Filters (CFs) have recently demonstrated excellent performance in terms of rapidly tracking objects under challenging photometric and geometric variations. The strength of the approach comes from its ability to efficiently learn - "on the fly" - how the object is changing over time. A fundamental drawback to CFs, however, is that the background of the object is not be modelled over time which can result in suboptimal results. In this paper we propose a Background-Aware CF that can model how both the foreground and background of the object varies over time. Our approach, like conventional CFs, is extremely computationally efficient - and extensive experiments over multiple tracking benchmarks demonstrate the superior accuracy and real-time performance of our method compared to the state-of-the-art trackers including those based on a deep learning paradigm.

연구 동기 및 목표

• 학습 중 배경 정보를 무시하는 전통적인 상관 필터의 한계를 동기 부여하고 해결합니다.
• 강건한 판별을 위한 부정 예제로 실제 배경 패치를 활용하는 BACF를 제안합니다.
• 푸리에 도메인에서의 효율적인 최적화 프레임워크로 실시간 성능을 유지합니다.
• 표준 추적 벤치마크에서 최첨단 CF 기반 및 심층 트래커와 비교하여 BACF를 평가합니다.

제안 방법

• BACF를 전체 프레임에서 크롭 연산자를 통해 패치를 샘플링하는 다채널 능선 회귀로 형식화합니다.
• 원형의 전경만 학습을 배경 포함 목적 함수로 대체하고, P x[k]를 사용하여 대형 서포트 샘플에서 자르기를 수행하는 배경 포함 목적 함수로 격화합니다.
• 그 결과 최적화를 푸는 것은 Fourier 도메인에서의 ADMM 접근 방식으로, 효율적인 g−h 업데이트와 Sherman–Morrison 기반 역 업데이트를 포함합니다.
• 외관 변화에 대한 강건성을 위한 온라인 적응을 적용하고 탐지를 위한 다중 스케일 검색을 수행합니다.
• IoU 기반 지표와 성공 플롯의 AUC를 사용하여 OTB50/OTB100/Temple-Color128/VOT2015에서 평가합니다.

실험 결과

연구 질문

• RQ1 실제 배경 패치를 학습에 활용하는 것이 실시간 성능을 희생하지 않으면서 CF 트랙커의 정확도를 향상시킬 수 있는가?
• RQ2 표준 벤치마크에서 손으로 설계된 특징 CF 트래커, 딥-피처 CF 트래커, 그리고 완전 딥 트래커와 비교하여 BACF의 성능은 어떠한가?
• RQ3 제안된 ADMM 기반 BACF 프레임워크가 CPU에서 실제로 효율적인 다채널 학습을 가능하게 하는가?
• RQ4 온라인 업데이트와 스케일/검색 전략이 차폐, 변형, 배경 잡음 등 일반적인 도전과제에서 추적 강건성에 미치는 영향은 무엇인가?

주요 결과

방법	OTB50	OTB100	TC128	평균 성공률	평균 FPS
BACF	85.4	77.6	65.2	76.0	35.3
SRDCF	76.0	72.0	62.1	70.0	3.8
Staple	73.2	69.1	62.9	68.4	48.3
LCT	79.4	69.3	52.6	67.1	18.5
SAMF	67.7	64.0	56.0	62.5	11.4
MEEM	68.2	62.6	64.0	64.2	11.1
DSST	67.1	60.1	47.4	58.2	17.7
KCF	61.8	54.2	46.4	54.1	173.4
Struck	58.2	52.2	40.7	50.3	9.2
CFLB	47.3	44.7	37.7	39.8	87.1
TLD	45.1	43.1	35.3	41.1	22.1
DAT	35.2	36.3	48.1	39.8	60.3

• BACF는 OTB50, OTB100, TC128에서 여러 손으로 설계된 특징 트래커를 상회하는 AUC 기반 성공률을 달성합니다.
• BACF는 CCOT와 같은 딥-피처 트래커에 비해 경쟁력 있는 정확도와 실시간 CPU 성능(≈35 FPS)을 달성하면서도 수차례 빠릅니다.
• VOT2015에서 BACF는 상위 트래커에 비해 경쟁력 있는 정확도와 강건성을 보이며 여러 베이스라인보다 정확도를 향상시킵니다.
• 속성 기반 분석에서 BACF는 배경 패치를 활용함으로써 잡음, 변형, 가림, 조명 변화 등에 걸쳐 이점을 보입니다.
• 딥 피처 CF 트래커와 비교하여 BACF는 CCOT 대비 약 100~170배의 속도 이점을 제공하면서도 경쟁력 있는 정확도를 보입니다.