[논문 리뷰] DCFNet: Discriminant Correlation Filters Network for Visual Tracking

Qiang Wang, Jin Gao외 3명|arXiv (Cornell University)|2017. 04. 13.

Video Surveillance and Tracking Methods참고 문헌 21인용 수 275

한 줄 요약

DCFNet은 합성곱 특징을 학습하고 시아미즈(Siamese) 유사 구조 내에 식별 가능 상관 필터 레이어를 포함하는 엔드-투-엔드 네트워크를 제시하며, 경쟁력 있는 정확도와 함께 실시간 추적(>60 FPS)을 달성합니다.

ABSTRACT

Discriminant Correlation Filters (DCF) based methods now become a kind of dominant approach to online object tracking. The features used in these methods, however, are either based on hand-crafted features like HoGs, or convolutional features trained independently from other tasks like image classification. In this work, we present an end-to-end lightweight network architecture, namely DCFNet, to learn the convolutional features and perform the correlation tracking process simultaneously. Specifically, we treat DCF as a special correlation filter layer added in a Siamese network, and carefully derive the backpropagation through it by defining the network output as the probability heatmap of object location. Since the derivation is still carried out in Fourier frequency domain, the efficiency property of DCF is preserved. This enables our tracker to run at more than 60 FPS during test time, while achieving a significant accuracy gain compared with KCF using HoGs. Extensive evaluations on OTB-2013, OTB-2015, and VOT2015 benchmarks demonstrate that the proposed DCFNet tracker is competitive with several state-of-the-art trackers, while being more compact and much faster.

연구 동기 및 목표

• 효율적이고 판별적 상관 필터(DCF)를 활용한 온라인 객체 추적의 필요성을 제시한다.
• 단일 아키텍처 내에서 DCF 친화적 특징을 학습하는 엔드-투-엔드 CNN을 개발한다.
• 푸리에 도메인에서 역전파를 도출하여 DCF의 효율성을 보존한다.
• 가벼운 순환형(RNN 유사) 메커니즘으로 모델의 온라인 업데이트를 가능하게 한다.
• 표준 추적 벤치마크에서 실시간 성능과 경쟁력 있는 정확도를 입증한다.

제안 방법

• DCF를 엔드-투-엔드 학습이 가능하도록 시아미 네트워크 내부의 특수 상관 필터 레이어로 취급한다.
• 효율성을 유지하기 위해 푸리에 도메인에서 DCF 레이어를 통한 역전파를 도출한다.
• DCF 레이어에서 사용되는 φ(x)를 생성하기 위해 (풀링 없이) VGG의 conv1으로 가벼운 CNN 특징 추출기를 학습시킨다.
• Eq. (13)를 사용하여 증가하는( RNN 유사) 방식으로 DCF 필터 w를 업데이트하는 방식으로 온라인 추적을 형식화한다.
• 네트워크 출력을 객체 위치에 대한 확률 열지도 g로 정의하고 L = ||g - ĝ||^2 + γ||θ||^2를 최적화한다.
• LRN 레이어와 정규화 λ를 갖는 표준 DCF 릿지 회귀로 안정성을 유지한다.

실험 결과

연구 질문

• RQ1 CNN에서 미분 가능 레이어로 통합된 판별 상관 필터(DCF)가 추적의 엔드-투-엔드 학습을 가능하게 하려면 어떻게 구현할 수 있는가?
• RQ2 엔드-투-엔드로 학습된 특징이 DCF 추적에 맞춰져 정확도를 향상시키면서도 DCF의 효율적인 푸리에 도메인 계산을 보존할 수 있는가?
• RQ3 가벼운 DCFNet 내에서 네트워크 깊이와 스케일 레벨이 추적 성능과 속도에 어떤 영향을 미치는가?
• RQ4 온라인 증가 업데이트(RNN 유사)가 시간에 걸친 추적 성능 유지에 얼마나 효과적인가?
• RQ5 표준 벤치마크(OTB2013/2015, VOT2015)에서 정확도와 속도 측면에서 DCFNet의 성능은 어떠한가?

주요 결과

• DCFNet은 60 FPS 이상으로 구동된다.
• 엔드-투-엔드로 학습된 특징은 HoG 기반 DCF 추적기 대비 이점을 제공하며, HoG를 사용하는 KCF 대비 OTB2015 성공도에서 약 10% 개선, DSST 대비 6.2% 개선을 보인다.
• 가벼운 네트워크 (75 KB)로 conv1 기반 특징을 사용하면 더 깊은 CNN 기반 추적기보다 속도가 빠르면서도 경쟁력 있는 정확도를 달성한다.
• OTB2015에서 DCFNet은 실시간 성능을 유지하면서 (KCF 대비 10%, DSST 대비 6.2%의) 주목할 만한 정확도 향상을 보인다.
• 적은 학습 데이터로 인해 더 깊은 네트워크가 성능을 반드시 향상시키지 않는다는 제거 연구가 나타나며, 확장(dilation) 및 단일 합성곱 변형은 파라미터 효율성과 정확성을 더 나을 수 있다.
• VOT2015에서 DCFNet은 성능과 속도 사이의 균형을 이루며 KCF, MUSTer 등 최첨단 추적기와 경쟁력을 가진다.