[논문 리뷰] Robust Estimation of Similarity Transformation for Visual Object Tracking

Yang Li, Jianke Zhu외 4명|arXiv (Cornell University)|2017. 12. 14.

Video Surveillance and Tracking Methods인용 수 14

한 줄 요약

이 논문은 4-DoF 유사 변환(이동, 스케일, 회전)을 효율적으로 추정하는 강건한 상관 필터 기반 트래커를 제안한다. 블록 좌표 강하(BCD) 프레임워크를 사용하여 문제를 두 개의 2-DoF 부분 문제로 분해하고, 로그-폴라 위상 상관을 활용해 스케일과 회전을 동시에 추정함으로써 실시간 성능과 OTB 및 POT 기준에서 최고 수준의 정확도를 달성한다. 이는 딥 러닝 및 전통적인 트래커보다 도전적인 상황에서 뛰어난 성능을 발휘한다.

ABSTRACT

Most of existing correlation filter-based tracking approaches only estimate simple axis-aligned bounding boxes, and very few of them is capable of recovering the underlying similarity transformation. To tackle this challenging problem, in this paper, we propose a new correlation filter-based tracker with a novel robust estimation of similarity transformation on the large displacements. In order to efficiently search in such a large 4-DoF space in real-time, we formulate the problem into two 2-DoF sub-problems and apply an efficient Block Coordinates Descent solver to optimize the estimation result. Specifically, we employ an efficient phase correlation scheme to deal with both scale and rotation changes simultaneously in log-polar coordinates. Moreover, a variant of correlation filter is used to predict the translational motion individually. Our experimental results demonstrate that the proposed tracker achieves very promising prediction performance compared with the state-of-the-art visual object tracking methods while still retaining the advantages of high efficiency and simplicity in conventional correlation filter-based tracking methods.

연구 동기 및 목표

• 상관 필터 기반 트래커에서 대규모 이동을 동반한 스케일과 회전을 포함한 유사 변환 추정의 부재를 해결하기 위해.
• 스케일과 회전 추정에 밀도 높은 샘플링에 의존하는 기존 방법의 높은 계산 비용과 제한된 정확도를 극복하기 위해.
• 사전 정의된 샘플링 격자나 복잡한 재계산 없이도 효율적이고 정밀한 4-DoF 트래킹(이동, 스케일, 회전)을 가능하게 하기 위해.
• 빠른 운동, 가림, 대규모 스케일 변화와 같은 도전적인 조건에서 트래킹의 강건성과 정확도를 향상시키기 위해.

제안 방법

• 4-DoF 유사 변환 추정 문제를 두 개의 2-DoF 부분 문제로 분해하여 공동 최적화 문제로 설정한다: 이동과 스케일-회전.
• 수렴성과 안정성을 확보하기 위해, 전체 4-DoF 공간에서 이동과 스케일-회전 파라미터를 순차적으로 최적화하는 블록 좌표 강하(BCD) 솔버를 사용한다.
• 로그-폴라 좌표계에서의 위상 상관 기반 기법을 통해 스케일과 회전 변화를 동시에 효율적으로 추정한다.
• 실시간 효율성을 유지하기 위해 상관 필터의 빠른 변형을 사용해 이동 운동을 독립적으로 예측한다.
• 프레임당 한 번의 특징 공간 샘플링만으로 반복적인 재샘플링의 고비용을 피한다.
• 기존 상관 필터 트래커에 쉽게 통합할 수 있는 경량이고 효율적인 파이프라인으로 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 상관 필터 기반 트래커가 밀도 높은 샘플링 없이 실시간으로 4-DoF 유사 변환(이동, 스케일, 회전)을 강건하게 추정할 수 있는가?
• RQ2 제안된 BCD 기반 최적화 프레임워크는 대규모 이동 상황에서 트래킹 정확도와 안정성을 어떻게 향상시키는가?
• RQ3 효율성과 정확도 측면에서 로그-폴라 위상 상관은 기존의 스케일-회전 추정 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 이 방법은 가림, 운동 왜곡, 조명 변화와 같은 다양한 트래킹 과제에 대해 얼마나 잘 일반화되는가?
• RQ5 표준 기준에서 딥 러닝 기반 및 전통적 트래커와 비교해 이 방법이 최고 수준의 성능을 달성하는가?

주요 결과

• OTB-2015 기준에서 제안된 트래커는 51.31%의 성공률과 50.64%의 정밀도를 기록하여, 두 번째로 우수한 트래커(ECO-HC)보다 각각 13% 이상 높은 성능을 보였다.
• POT 기준에서 트래커는 210개의 평면 트래킹 시퀀스에서 51.31%의 정밀도와 50.64%의 성공률을 기록하여, 딥 러닝 기반 방법보다 뚜렷이 뛰어난 성능을 보였다.
• BCD 프레임워크를 적용한 경우, LDES-NoBCD 버전 대비 스케일 및 제약 없는 영상 카테고리에서 정밀도가 14% 향상되고 성공률가 5% 향상되었다.
• POT 기준에서 대부분의 평가 지표에서 1위를 기록하여 뛰어난 일반화 능력과 강건성을 입증하였다.
• 로그-폴라 위상 상관 기법은 주류 방법과 유사한 성능를 달성하면서도 최소한의 계산 오버헤드로 스케일-회전 동시 추정이 가능했다.
• 표준 PC에서 20–30 FPS의 실시간 성능를 유지하며 정확도를 희생시키지 않고도 효율성을 입증하였다.