[논문 리뷰] Deformable Parts Correlation Filters for Robust Visual Tracking

Alan Lukežič, Luka Čehovin Zajc외 1명|arXiv (Cornell University)|2016. 05. 12.

Video Surveillance and Tracking Methods참고 문헌 3인용 수 11

한 줄 요약

이 논문은 기하학적 및 시각적 제약을 동시에 모델링하기 위해 완전히 연결된 스프링 시스템을 사용하는 조합형 상관 필터와 중위 수준의 비틀림 부분 모델을 결합한 변형 가능한 부분 상관 필터 트래커(DPT)를 제안한다. 이 방법은 실시간 속도를 유지하면서 OTB, VOT2014, VOT2015 벤치마크에서 최신 기술 수준의 성능을 달성하여, 통합형 및 부분 기반 기반선 대비 실패율을 크게 감소시키고 오버랩 지표를 향상시킨다.

ABSTRACT

Deformable parts models show a great potential in tracking by principally addressing non-rigid object deformations and self occlusions, but according to recent benchmarks, they often lag behind the holistic approaches. The reason is that potentially large number of degrees of freedom have to be estimated for object localization and simplifications of the constellation topology are often assumed to make the inference tractable. We present a new formulation of the constellation model with correlation filters that treats the geometric and visual constraints within a single convex cost function and derive a highly efficient optimization for MAP inference of a fully-connected constellation. We propose a tracker that models the object at two levels of detail. The coarse level corresponds a root correlation filter and a novel color model for approximate object localization, while the mid-level representation is composed of the new deformable constellation of correlation filters that refine the object location. The resulting tracker is rigorously analyzed on a highly challenging OTB, VOT2014 and VOT2015 benchmarks, exhibits a state-of-the-art performance and runs in real-time.

연구 동기 및 목표

• 비정형 변형과 가림을 다루는 데에 한계가 있는 통합형 상관 필터 트래커의 문제점을 해결한다.
• 시각 트래킹에서 완전히 연결된 부분 기반 모델의 높은 계산 비용과 불안정성을 극복한다.
• 볼록이고 완전히 연결된 변형 가능한 부분 모델에서 MAP 추론을 위한 효율적인 최적화 방법을 개발한다.
• 거시 수준의 외관 모델과 중위 수준의 변형 가능한 부분 모델을 통합하여 트래킹의 강건성과 정확도를 향상시킨다.
• 주요 벤치마크에서 최신 기술 수준의 트래커를 능가하면서도 실시간 성능을 달성한다.

제안 방법

• 시각적 가능도(상관 필터를 통해)와 기하학적 제약(스프링 시스템)을 하나의 최적화에 통합하여 볼록 에너지 함수로 변형 가능한 부분 모델을 수립한다.
• 초기 프레임에서 세부 부분 추정에 의존도를 줄이기 위해 빠르고 근사적인 물체 위치 추정을 위한 새로운 색상 기반 거시 수준 모델을 도입한다.
• 온라인 회귀를 사용해 부분 외관 모델을 가우시안 유사도로 갱신함으로써 효율적인 분류 기반 트래킹을 가능하게 한다.
• 완전히 연결된 스프링 시스템을 사용해 기하학적 제약을 모델링함으로써, 부분적인 가림에 대한 유연한 변형 모델링과 강건성을 확보한다.
• 에너지 함수의 이중 형식에 대해 효율적인 반복 직접 최적화 방법(IDA)을 유도하여 빠른 수렴과 수치적 안정성을 보장한다.
• 상향식 위치 추정과 하향식 갱신 전략을 구현한다: 거시 수준 필터가 부분 위치 추정을 안내하고, 부분 반응이 전체 추정치를 정밀화한다.

실험 결과

연구 질문

• RQ1 완전히 연결된 변형 가능한 부분 모델이 실시간 시각 트래킹에 대해 효율적으로 최적화될 수 있는가?
• RQ2 거시 수준의 외관 모델과 중위 수준의 변형 가능한 부분 모델을 통합함으로써 변형과 가림에 대한 강건성이 향상되는가?
• RQ3 상관 필터가 속도와 정확도를 유지하면서 부분 기반 모델로 효과적으로 확장될 수 있는가?
• RQ4 스프링 시스템의 구성 방식이 별자리형 또는 局부 연결 구조 대비 트래킹 성능에서 어떻게 비교되는가?
• RQ5 제안된 방법이 최신 기술 수준의 통합형 및 부분 기반 트래커에 비해 실패율을 얼마나 줄이고 오버랩 지표를 향상시키는가?

주요 결과

• DPT 트래커는 OTB, VOT2014, VOT2015 벤치마크에서 각각 29, 38, 60개의 트래커를 능가하는 최신 기술 수준의 성능을 달성한다.
• DPT는 아키텍처에 다섯 개의 KCF를 사용하고도 기준선 KCF 대비 실패율을 약 60% 감소시킨다.
• 기대 평균 오버랩은 KCF 대비 80% 이상 증가했고, OTB 평균 오버랩은 약 30% 향상되었다.
• 반복 직접 최적화(EDA) 방법은 공액 기울기 감소법보다 수렴 속도가 빠르고, 특히 부분 수가 증가할수록 수치적 안정성이 뛰어나다.
• 완전히 연결된 성운 모델은 성능 향상에 크게 기여하며, 추적 실험에서 장기적인 부분적 가림과 급격한 외관 변화 상황에서도 강건성이 향상됨을 아블레이션 연구로 입증했다.
• 이 방법은 부분 수에 따라 잘 스케일링되며, 더 복잡한 부분 기반 모델이나 시각적 주목력 기반 위치 추정으로의 확장 가능성도 보여준다.