[논문 리뷰] Integrating Boundary and Center Correlation Filters for Visual Tracking with Aspect Ratio Variation

Feng Li, Yingjie Yao외 4명|arXiv (Cornell University)|2017. 10. 05.

Video Surveillance and Tracking Methods참고 문헌 1인용 수 8

한 줄 요약

이 논문은 시각 추적에서 종횡비 변화를 다루기 위해 1차원 경계 상관 필터와 2차원 중심 상관 필터를 통합한 새로운 시각 추적 프레임워크 IBCCF를 제안한다. 각 경계(좌, 우, 상, 하)를 별도로 모델링하고, 정규화를 통해 경계 필터와 중심 필터 간의 거의 수직성 조건을 강제함으로써, OTB, VOT, Temple-Color 벤치마크에서 최신 기술 수준(SOTA)의 정확도와 강건성을 달성한다. 특히 평면 내/외의 회전과 변형 상황에서 HCF 및 sHCF를 능가하는 성능을 보인다.

ABSTRACT

The aspect ratio variation frequently appears in visual tracking and has a severe influence on performance. Although many correlation filter (CF)-based trackers have also been suggested for scale adaptive tracking, few studies have been given to handle the aspect ratio variation for CF trackers. In this paper, we make the first attempt to address this issue by introducing a family of 1D boundary CFs to localize the left, right, top, and bottom boundaries in videos. This allows us cope with the aspect ratio variation flexibly during tracking. Specifically, we present a novel tracking model to integrate 1D Boundary and 2D Center CFs (IBCCF) where boundary and center filters are enforced by a near-orthogonality regularization term. To optimize our IBCCF model, we develop an alternating direction method of multipliers. Experiments on several datasets show that IBCCF can effectively handle aspect ratio variation, and achieves state-of-the-art performance in terms of accuracy and robustness.

연구 동기 및 목표

• 상관 필터(CF) 기반 시각 추적기에서 종횡비 변화 문제를 다루는 데 초점을 맞추며, 척도 적응 기술의 발전에도 불구하고 여전히 미비한 연구 영역임을 해결한다.
• 기존 표준 CF 추적기가 중심 위치만에 의존하여 비균일 척도 및 종횡비 변화에 적응하지 못하는 한계를 극복한다.
• 1D 경계 상관 필터의 가족을 활용해 목표 중심과 네 개의 경계를 동시에 추적하는 통합 추적 프레임워크를 개발한다.
• 경계 필터와 중심 필터 간의 구조적 일관성을 근접 수직성 정규화 항을 통해 강제하여 추적 정확도와 안정성을 향상시킨다.
• 각 하위 문제에 대해 닫힌 형태 해를 갖는 분할 정렬 다중 승수법(ADMM)을 활용해 제안된 모델을 효율적으로 최적화한다.

제안 방법

• 목표 물체의 좌, 우, 상, 하 경계를 별개로 처리하기 위해 다중 채널 표현 내에서 각 경계를 1차원 벡터로 간주하는 1D 상관 필터의 가족을 도입한다.
• 2차원 중심 CF와 1D 경계 CF를 조합하고, 필터 간의 근접 수직성 조건을 강제하는 정규화 항을 포함한 공동 최적화 모델인 IBCCF를 제안한다. 이는 중복을 방지하고 분별력을 향상시킨다.
• IBCCF 최적화 문제를 해결하기 위해 분할 정렬 다중 승수법(ADMM)을 사용하며, 중심 CF 업데이트 및 경계 CF 업데이트 각각의 하위 문제에 대해 닫힌 형태 해를 확보한다.
• 표현 성능 향상을 위해 딥 컨volution 신경망(CNN) 특징을 활용하면서도, 일반화 능력을 검증하기 위해 수작업 특징(HOG 및 색상 이름)을 사용한 성능 평가도 수행한다.
• 계산 효율성을 유지하기 위해 빠른 푸리에 변환(FFT)과 순환 행렬 구조를 적용하여 CF 기반 추적기의 속도 우수성을 그대로 유지한다.
• 추론 단계에서 경계 및 중심 예측을 통합하여, 모든 필터의 응답을 조합해 최종 바운딩 박스를 추정함으로써 종횡비 변화에 대한 민감한 적응성을 확보한다.

실험 결과

연구 질문

• RQ1 1D 상관 필터를 활용해 목표 경계를 별개로 모델링하는 것이 종횡비 변화에 대한 추적 강건성 향상에 기여하는가?
• RQ2 중심 필터와 경계 필터 간의 근접 수직성 조건을 강제함으로써 성능 향상과 중복 감소가 이루어지는가?
• RQ3 제안된 IBCCF 프레임워크는 종횡비 변화가 발생하는 평면 내/외의 회전 및 변형 상황에서 최신 기술 수준의 CF 기반 추적기보다 뛰어난 성능을 보이는가?
• RQ4 수작업 특징(HOG 및 색상 이름)을 사용할 경우 IBCCF 모델이 높은 정확도와 강건성을 유지할 수 있는가?
• RQ5 ADMM 기반 최적화 전략은 다양한 추적 시퀀스에서 효율적으로 수렴하고 안정적인 성능을 제공하는가?

주요 결과

• OTB-2015 데이터셋에서 IBCCF는 EAO 점수 0.266을 기록하여 HCF(0.236) 및 sHCF(0.220)를 능가하며 종횡비 변화에 대한 뛰어난 성능을 입증한다.
• VOT-2016 벤치마크에서 IBCCF는 EAO 0.266, 정확도 0.54, 강건성 1.22를 기록하며 상위 순위에 진입했고, 겹침 정확도에서 HCF를 4.4% 뛰어넘었다.
• Temple-Color 데이터셋에서 종횡비 변화가 있는 40개 시퀀스 서브셋에서 IBCCF는 성공률 2위를 기록했으며, IBCCF-HOGCN 버전은 수작업 특징을 사용함에도 불구하고 DSST 및 SAMF를 초월했다.
• 제거 실험 결과에 따르면 근접 수직성 정규화 항이 추적 정확도 향상에 기여함을 확인했으며, 제약 조건이 없는 IBCCF-HOGCN 모델은 전체 IBCCF-HOGCN 모델보다 성능이 열 劣하다.
• VOT-2017 데이터셋에서 IBCCF는 강건성 점수 1.57을 기록하여 추적 이격 및 실패에 대한 강력한 저항성을 보였으며, 도전적인 시퀀스에서도 높은 정확도(0.48)를 유지했다.
• CarScale, Trans, Panda 시퀀스의 정성적 결과 분석에서 IBCCF는 종횡비 변화에 효과적으로 적응하는 반면, HCF 및 sHCF는 고정된 중심 위치 추적 방식으로 인해 실패함을 확인했다.