[논문 리뷰] Real-Time Visual Tracking: Promoting the Robustness of Correlation Filter Learning

Yao Sui, Ziming Zhang외 3명|arXiv (Cornell University)|2016. 08. 29.

Video Surveillance and Tracking Methods참고 문헌 37인용 수 4

한 줄 요약

이 논문은 표준 ℓ₂-손실 대신 ℓ₁, ℓ₁ℓ₂, ℓ₂,₁ 손실 함수를 도입하여 상관 필터의 강건성을 향상시키는 세 가지 실시간 시각 추적기를 제안한다. 반응 이방성과 외관 변화에 대한 과적합을 줄임으로써, 차폐, 조명 변화, 노이즈 상황에서도 추적 성능을 향상시키며, 연속 프레임에서 최대 반응 민감도가 성능 예측에 신뢰할 수 있는 기준이 된다.

ABSTRACT

Correlation filtering based tracking model has received lots of attention and achieved great success in real-time tracking, however, the lost function in current correlation filtering paradigm could not reliably response to the appearance changes caused by occlusion and illumination variations. This study intends to promote the robustness of the correlation filter learning. By exploiting the anisotropy of the filter response, three sparsity related loss functions are proposed to alleviate the overfitting issue of previous methods and improve the overall tracking performance. As a result, three real-time trackers are implemented. Extensive experiments in various challenging situations demonstrate that the robustness of the learned correlation filter has been greatly improved via the designed loss functions. In addition, the study reveals, from an experimental perspective, how different loss functions essentially influence the tracking performance. An important conclusion is that the sensitivity of the peak values of the filter in successive frames is consistent with the tracking performance. This is a useful reference criterion in designing a robust correlation filter for visual tracking.

연구 동기 및 목표

• 차폐 및 조명 변화와 같은 외관 변화로 인한 상관 필터 학습에서의 과적합 문제를 해결한다.
• 표준 ℓ₂-손실 대신 스파arsity 유도 손실 함수를 도입하여 실시간 시각 추적의 강건성을 향상시킨다.
• 실증 분석을 통해 다양한 손실 함수가 추적 성능에 미치는 영향을 조사한다.
• 추적 성능 평가 및 강건한 상관 필터 설계를 위한 새로운 기준으로, 프레임 간 필터 최대값 민감도를 설정한다.

제안 방법

• 표준 ℓ₂-손실을 대체하기 위해 세 가지 스파arsity 관련 손실 함수인 ℓ₁, ℓ₁ℓ₂, ℓ₂,₁ 을 도입한다.
• 공명의 이방성 특성을 활용하여 공간적으로 다른 순환 이동 샘플에 대해 서로 다른 반응 값을 할당함으로써 균일한 반응 강제를 방지한다.
• FFT를 사용해 주파수 도메인에서 학습 문제를 수식화함으로써 계산 효율성을 유지하면서도 강력한 손실 함수를 적용한다.
• 피크 값 변동을 정량화하기 위해 민감도 지표 s = Σ(pᵢ − pₘ)² 를 정의하며, 이를 추적 강건성과 연결한다.
• 순환 이동 방법을 사용해 타겟 영역에서 학습 샘플을 생성함으로써 순환 구조를 유지하고 빠른 계산을 보장한다.
• 외관 변화 시 큰 오차를 수용할 수 있는 강력한 손실 함수를 최적화하여 과적합을 줄인다.

실험 결과

연구 질문

• RQ1 다양한 손실 함수가 상관 필터 기반 추적기의 강건성과 성능에 어떤 영향을 미치는가?
• RQ2 스파arsity를 유도하는 손실 함수는 차폐 및 조명 변화와 같은 외관 변화에 대한 과적합을 줄일 수 있는가?
• RQ3 연속 프레임 간 필터 피크 반응 민감도는 추적 성능 예측에 신뢰할 수 있는가?
• RQ4 노이즈가 포함된 또는 손상된 영상 프레임에서 제안된 방법은 KCF 추적기와 어떻게 비교되는가?
• RQ5 강력한 손실 함수는 도전적인 시각 조건 하에서 추적 안정성을 얼마나 향상시키는가?

주요 결과

• 제안된 ℓ₁, ℓ₁ℓ₂, ℓ₂,₁ 손실 함수를 사용하는 추적기는 표준 벤치마크에서 KCF 추적기보다 유의미하게 뛰어난 성능을 보이며, 특히 차폐 및 조명 변화 상황에서 두각을 나타낸다.
• 프레임 간 필터 피크 값 민감도 지표 s 는 추적 성능과 강하게 상관되어 있다: 낮은 s 값은 더 높은 강건성과 정확도를 의미한다.
• KCF 추적기는 ℓ₂-손실에 의존하여 높은 민감도(큰 s 값)를 보이며, 외관 변화 상황에서 불안정해지지만, 제안된 방법은 낮은 민감도와 향상된 안정성을 보였다.
• 노이즈가 포함된 영상에서 제안된 추적기는 약 20% 이하의 픽셀 손상까지 성능을 유지하지만, KCF는 5% 손상에서도 급격히 성능이 떨어졌다.
• 실험 분석을 통해 강력한 손실 함수가 응답 피팅에서 큰 오차를 허용함으로써, 특히 심한 외관 변화 시 과적합을 줄이는 데 기여함을 확인했다.
• 본 연구는 프레임 간 필터 피크 반응 민감도가 시각 추적에서 강건한 상관 필터 설계를 위한 유효하고 유용한 기준임을 입증했다.