[논문 리뷰] Non-sparse Linear Representations for Visual Tracking with Online Reservoir Metric Learning

Xi Li, Chunhua Shen외 3명|arXiv (Cornell University)|2012. 04. 13.

Video Surveillance and Tracking Methods참고 문헌 1인용 수 11

한 줄 요약

이 논문은 시간 가중 침전 샘플링과 온라인 마할라노비스 거리 측정 학습을 통한 비희소 선형 표현을 사용하는 빠르고 강건한 시각 추적기를 제안한다. ℓ₁-정규화된 최적화의 계산 비용이 높은 문제를 해결하기 위해 폐쇄형 최소 제곱 해를 도입하고, 특징 간 상관관계를 포착하는 분류적 측정 기준을 통합함으로써, 높은 효율성과 외관 변화에 대한 향상된 강건성을 달성하며, 도전적인 시퀀스에서 최신 기술을 능가한다.

ABSTRACT

Most sparse linear representation-based trackers need to solve a computationally expensive L1-regularized optimization problem. To address this problem, we propose a visual tracker based on non-sparse linear representations, which admit an efficient closed-form solution without sacrificing accuracy. Moreover, in order to capture the correlation information between different feature dimensions, we learn a Mahalanobis distance metric in an online fashion and incorporate the learned metric into the optimization problem for obtaining the linear representation. We show that online metric learning using proximity comparison significantly improves the robustness of the tracking, especially on those sequences exhibiting drastic appearance changes. Furthermore, in order to prevent the unbounded growth in the number of training samples for the metric learning, we design a time-weighted reservoir sampling method to maintain and update limited-sized foreground and background sample buffers for balancing sample diversity and adaptability. Experimental results on challenging videos demonstrate the effectiveness and robustness of the proposed tracker.

연구 동기 및 목표

• 시각 추적에서 ℓ₁-정규화된 희소 선형 표현의 높은 계산 비용을 해결하기 위해.
• 측정 기준 학습을 통해 특징 차원 간 상관관계 정보를 포착함으로써 분류 능력을 향상시키기 위해.
• 실시간 추적 환경에서 메모리 제약 조건 하에서 효율적인 온라인 측정 기준 학습을 가능하게 하기 위해.
• 제한된 크기의 전경 및 배경 버퍼를 유지함으로써 온라인 학습에서 샘플의 다양성과 적응 능력의 균형을 이루기 위해.
• 외관 변화, 가림, 자세 변화 상황에서도 강건성을 유지할 수 있는 확장 가능하고 실시간 동작이 가능한 시각 추적 프레임워크를 개발하기 위해.

제안 방법

• 추적기는 최소 제곱 최적화 문제에 기반한 비희소 선형 표현을 사용하며, 이는 빠른 추론을 위한 폐쇄형 해를 제공한다.
• 근접도 비교를 이용해 온라인으로 마할라노비스 거리 측정 기준을 학습함으로써 전경 및 배경 특징 간의 분류 능력을 향상시킨다.
• 측정 기준 학습을 선형 표현 최적화에 통합하여 객체와 배경 간의 분리 능력을 향상시킨다.
• 최근 관측치에 더 높은 중요도를 할당하기 위해 시간 가중 침전 샘플링을 사용하여 제한된 크기의 전경 및 배경 샘플 버퍼를 동적으로 유지한다.
• 순차적 행렬 연산을 통해 새로운 데이터로 폐쇄형 해를 효율적으로 갱신함으로써 실시간 적응 능력을 확보한다.
• 이론적으로 유한한 수의 샘플만으로 전체 배치 측정 기준 학습을 근사할 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 폐쇄형 해를 갖는 비희소 선형 표현은 ℓ₁-정규화된 희소 표현보다 유사하거나 더 높은 정확도를 달성하면서도 훨씬 더 빠른가?
• RQ2 온라인 마할라노비스 측정 기준 학습이 특징 간 상관관계를 포착함으로써 추적 강건성을 향상시키는가?
• RQ3 시간 가중 침전 샘플링이 실시간 추적을 위한 온라인 측정 기준 학습에서 샘플의 다양성과 적응 능력을 효과적으로 유지하는가?
• RQ4 외관 변화, 가림, 자세 변화와 같은 도전적인 조건 하에서 제안된 추적기는 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법은 실시간 시각 추적 응용에 충분히 확장 가능하고 효율적인가?

주요 결과

• 제안된 추적기는 CLE 벤치마크의 13개 비디오 시퀀스 중 10개에서 가장 높은 성공률를 기록하며 최신 기술을 능가한다.
• 버퍼 크기가 약 300개 샘플 정도에서 성능이 안정화됨을 확인하여, 양호한 성능을 위해 큰 메모리 버퍼가 반드시 필요한 것은 아님을 시사한다.
• 기존 입자 필터 기반 방법과 달리, 추적기의 실행 시간은 입자 수에 대해 비선형적임을 확인하여, 훨씬 더 효율적임을 입증한다.
• 고유값 분해 없이도 계산 비용이 높은 단계별 고유값 분해 방법과 유사한 성능을 달성한다.
• 측정 기준 학습을 선형 표현에 통합함으로써, 특히 외관 변화가 극심한 시퀀스에서 추적 정확도가 향상됨을 확인하였다.
• 시간 가중 침전 샘플링을 통해 최근 샘플에 더 높은 가중치를 할당함으로써 샘플의 관련성 유지가 효과적으로 이루어지고, 동적 변화에 대한 적응 능력이 향상됨을 확인하였다.