[논문 리뷰] Large Margin Object Tracking with Circulant Feature Maps

Mengmeng Wang, Yong Liu외 1명|arXiv (Cornell University)|2017. 03. 15.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 90

한 줄 요약

LMCF를 소개하는 빠른 대형마진 추적 방법으로, 구조화된 출력 SVM과 순환 특징 맵 및 상관 필터를 결합하고, 다중 모달 탐지 및 고신뢰도 업데이트를 통해 실시간 성능을 달성한다. 또한 CNN 특징을 사용한 DeepLMCF로 확장한다.

ABSTRACT

Structured output support vector machine (SVM) based tracking algorithms have shown favorable performance recently. Nonetheless, the time-consuming candidate sampling and complex optimization limit their real-time applications. In this paper, we propose a novel large margin object tracking method which absorbs the strong discriminative ability from structured output SVM and speeds up by the correlation filter algorithm significantly. Secondly, a multimodal target detection technique is proposed to improve the target localization precision and prevent model drift introduced by similar objects or background noise. Thirdly, we exploit the feedback from high-confidence tracking results to avoid the model corruption problem. We implement two versions of the proposed tracker with the representations from both conventional hand-crafted and deep convolution neural networks (CNNs) based features to validate the strong compatibility of the algorithm. The experimental results demonstrate that the proposed tracker performs superiorly against several state-of-the-art algorithms on the challenging benchmark sequences while runs at speed in excess of 80 frames per second. The source code and experimental results will be made publicly available.

연구 동기 및 목표

• 구조화된 출력 SVM과 상관 필터의 속도 향상을 결합하여 실시간 시각 추적을 진전시킨다.
• 다중 모달 탐지를 통해 대상 위치 추정 정확도를 개선하고 모델 드리프트를 줄인다.
• 온라인 업데이트의 고신뢰도 전략으로 모델 손상을 방지한다.
• 핸드크래프트 특징과 깊은 CNN 특징(DeepLMCF) 모두와의 호환성을 시연한다.
• 표준 벤치마크에서 최첨단 추적기와 비교하여 성능을 검증한다.

제안 방법

• Tracking-by-detection을 대상 패치의 밀집 샘플링된 순환 시프트를 이용한 대형 마진 구조화 SVM으로 공식화한다.
• 구조화된 SVM과 상관 필터를 연결하여 FFT/DFT 연산을 통해 온라인 최적화를 빠르게 가능하게 한다.
• 여러 응답 피크를 다루고 잘못된 위치 판단을 방지하기 위해 다중 모달 대상 탐지를 제안한다.
• F_max와 APCE를 사용한 고신뢰도 업데이트 전략으로 모델 업데이트 여부를 결정한다.
• 비선형 커널로의 확장을 커널 트릭을 통해 구현하고 비선형 케이스에 대해 알파 기반 해를 제시한다.
• VGG-19 층의 CNN 특징을 계층적 가중치를 가진 DeepLMCF 변형을 제공한다.

실험 결과

연구 질문

• RQ1 상관 필터 기술을 이용해 밀집한 순환 샘플에 대해 온라인으로 대형 마진 구조화 SVM을 효율적으로 최적화할 수 있는가?
• RQ2 다중 모달 대상 탐지가 주의 산만 요소가 있을 때 위치 정확도를 향상시키고 드리프트를 줄이는가?
• RQ3 고신뢰도 온라인 업데이트 전략이 모델 손상을 예방하고 실시간 성능을 유지하는가?
• RQ4 제안된 프레임워크에서 핸드크래프트 특징과 깊은 CNN 특징은 어떻게 비교되며 CNN 특징을 효과적으로 통합할 수 있는가?
• RQ5 표준 벤치마크(OTB-13/OTB-15)에서 최첨단 추적기 대비 성능 이점은 무엇인가?

주요 결과

• LMCF는 OTB-13 및 OTB-15에서 OPE, TRE, SRE 지표에 대해 기존 특징 추적기 중 최첨단 성능을 달성했다.
• CNN 특징을 갖춘 DeepLMCF는 정밀도와 성공률을 더욱 향상시키면서 실시간 또는 거의 실시간 속도를 유지한다(DeepLMCF ~8.11 FPS에서 한 메트릭, 여러 CNN 기반 추적기보다 빠름).
• 다중 모달 탐지 접근 방식은 산만 요소로부터의 잘못된 탐지들을 줄이고 위치 정확도를 향상시킨다.
• 고신뢰도 업데이트 전략은 가려짐이나 잘못된 탐지 중에도 모델 손상을 예방하고 추적 로버스트니스를 유지한다.
• LMCF는 기존 특징으로 80 FPS 이상으로 실행되어 실시간 적용 가능성을 입증한다; DeepLMCF는 하드웨어에 따라 약 10+ FPS 정도로 작동한다.