[논문 리뷰] A Structural Correlation Filter Combined with A Multi-task Gaussian Particle Filter for Visual Tracking

Manna Dai, Shuying Cheng외 2명|arXiv (Cornell University)|2018. 03. 03.

Video Surveillance and Tracking Methods참고 문헌 5인용 수 3

한 줄 요약

이 논문은 다중 구조적 상관 필터(KCF)를 약한 전문가로 활용하고 다중 작업 가우시안 입자 필터(GPF)와 융합하여 강인성을 햖스는 새로운 시각 추적 프레임워크인 KCF-GPF를 제안한다. 공간-기하학적 일관성과 신뢰도 가중 융합을 활용함으로써, 50개의 과도한 난이도를 지닌 시퀀스에서 정밀도 및 성공률 지표에서 16개의 최신 기술(SOTA) 추적기들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel structural correlation filter combined with a multi-task Gaussian particle filter (KCF-GPF) model for robust visual tracking. We first present an assemble structure where several KCF trackers as weak experts provide a preliminary decision for a Gaussian particle filter to make a final decision. The proposed method is designed to exploit and complement the strength of a KCF and a Gaussian particle filter. Compared with the existing tracking methods based on correlation filters or particle filters, the proposed tracker has several advantages. First, it can detect the tracked target in a large-scale search scope via weak KCF trackers and evaluate the reliability of weak trackers q decisions for a Gaussian particle filter to make a strong decision, and hence it can tackle fast motions, appearance variations, occlusions and re-detections. Second, it can effectively handle large-scale variations via a Gaussian particle filter. Third, it can be amenable to fully parallel implementation using importance sampling without resampling, thereby it is convenient for VLSI implementation and can lower the computational costs. Extensive experiments on the OTB-2013 dataset containing 50 challenging sequences demonstrate that the proposed algorithm performs favourably against 16 state-of-the-art trackers.

연구 동기 및 목표

• 빠른 운동, 차폐, 척도 변화, 외관 변화 등의 상황에서 상관 필터 기반 추적기의 한계를 해결한다.
• 고차원 상태 공간에서의 입자 필터의 불안정성과 초기화 부족 문제를 약한 전문가 통합을 통해 극복한다.
• 약한 추적기 결정의 신뢰도 평가와 다중 작업 입자 필터링을 통해 추적 강인성을 향상시킨다.
• 재표본화 없이 중요도 표본 추출을 적용하여 저비용 계산을 실현하고, 병렬 처리가 가능한 효율적인 구현을 가능하게 한다.
• 연속 프레임 간의 대상 위치 간 공간 기하 관계를 활용해 확장 가능하고 신뢰할 수 있는 검색 기반 메커니즘을 개발한다.

제안 방법

• 각각 HOG 및 회색조 특징을 사용하여 예비 대상 위치 추정치를 생성하는 다수의 KCF 추적기를 약한 전문가로 구현한다.
• 연속 프레임 간의 공간 기하 제약 조건을 활용하여 약한 추적기 결정을 위한 대규모이고 신뢰할 수 있는 검색 영역을 정의한다.
• 각 약한 추적기의 신뢰도를 평가하기 위해 신뢰도 지도를 계산하며, 이를 가우시안 입자 필터(GPF)의 가중치로 사용한다.
• 입자들에서 HOG 및 회색조 특징을 동시에 평가하는 다중 작업 GPF를 구현하여 강인한 상태 추정을 가능하게 한다.
• 재표본화 없이 중요도 표본 추출을 적용하여 계산 효율성을 유지하고, VLSI 우수한 완전 병렬 구현을 가능하게 한다.
• 입자 상태가 신뢰도 가중된 신뢰도 지도에 기반하여, 약한 추적기 출력을 가중 조합 방식으로 융합한다.

실험 결과

연구 질문

• RQ1 구조적 상관 필터의 다중 전문가 앙상블이 차폐 및 외관 변화 상황에서 추적 강인성을 향상시킬 수 있는가?
• RQ2 연속 프레임 간 대상 위치 간 공간 기하학적 일관성이 대규모 추적에서 검색 신뢰도를 어떻게 향상시킬 수 있는가?
• RQ3 가우시안 입자 필터 내에서 신뢰도 가중 융합 전략이 빠른 운동과 척도 변화를 다룰 때 기존 표준 입자 필터를 능가할 수 있는가?
• RQ4 HOG 및 회색조 특징을 동시에 사용하는 다중 작업 입자 필터링이 단일 특징 기반 접근 방식에 비해 추적 정확도 향상에 얼마나 기여하는가?
• RQ5 재표본화 없는 중요도 표본 추출 기반 GPF를 통해 저비용으로 높은 성능을 달성할 수 있는가?

주요 결과

• KCF-GPF는 OTB-2013 벤치마크에서 성공률 평균 AUC 점수 0.624와 정밀도 0.572를 기록하여 16개의 최신 기술 추적기들을 능가한다.
• 모든 11개의 과도한 난이도 속성(예: 차폐, 변형, 빠른 운동)에서 상위 3개 이내 순위를 차지하며, 평면 외 회전과 변형 상황에서 최고 성능 기록.
• 정성적 결과 분석에서 KCF-GPF는 심한 차폐, 조명 변화, 빠른 운동 상황에서도 추적 정확도를 유지하는 반면, KCF 및 CFNet과 같은 기준 추적기는 자주 이격된다.
• 신뢰도 가중 융합 메커니즘이 부분적 차폐 및 척도 변화 상황에서 결정 강인성을 크게 향상시킨다.
• 중요도 표본 추출 기반 GPF를 통한 다중 작업 추적은 계산 효율성과 병렬 처리를 보장하며, 재표본화 기반 방법 대비 계산 비용을 감소시킨다.
• 공간 기하학적 일관성 기반 대규모 검색 전략은 차폐 이후 재검색을 효과적으로 가능하게 하여 복구 성능을 향상시킨다.