[논문 리뷰] Enforcing Template Representability and Temporal Consistency for Adaptive Sparse Tracking

Xue Yang, Fei Han외 2명|ArXiv.org|2016. 04. 30.

Video Surveillance and Tracking Methods참고 문헌 27인용 수 3

한 줄 요약

이 논문은 시각 추적에서 외관 변화에 대한 강건성을 향상시키기 위해 템플릿 표현 가능성과 시간적 일관성을 강제하는 새로운 희소 추적 알고리즘인 TRAC을 제안한다. 시간적 정규화에 구조적 희소성 유도 노름을 사용하고, 단기 및 장기 표현 가능성에 기반한 적응형 템플릿 업데이트 전략을 도입함으로써 TRAC은 드리프트를 크게 감소시키고 12개의 벤치마크 시퀀스에서 최신 기술을 초월한다.

ABSTRACT

Sparse representation has been widely studied in visual tracking, which has shown promising tracking performance. Despite a lot of progress, the visual tracking problem is still a challenging task due to appearance variations over time. In this paper, we propose a novel sparse tracking algorithm that well addresses temporal appearance changes, by enforcing template representability and temporal consistency (TRAC). By modeling temporal consistency, our algorithm addresses the issue of drifting away from a tracking target. By exploring the templates' long-term-short-term representability, the proposed method adaptively updates the dictionary using the most descriptive templates, which significantly improves the robustness to target appearance changes. We compare our TRAC algorithm against the state-of-the-art approaches on 12 challenging benchmark image sequences. Both qualitative and quantitative results demonstrate that our algorithm significantly outperforms previous state-of-the-art trackers.

연구 동기 및 목표

• 시각 추적에서 시간적 외관 변화로 인한 추적기 드리프트 문제를 지속적으로 해결한다.
• 자세 변화, 가림, 조명 변화, 배경 혼잡성 등의 외관 변화에 대한 강건성을 향상시킨다.
• 단지 중요도 가중치에 의존하는 전통적인 희소 추적기의 한계를 극복한다. 이는 재현성 없거나 중복된 템플릿을 초래할 수 있다.
• 단기 및 장기 시간적 맥락에서의 표현 가능성에 기반해 템플릿을 적응적으로 선택하고 업데이트하는 방법을 개발한다.
• 희소 추적 최적화 문제를 해결하는 데 있어 이론적 수렴성과 계산 효율성을 확보한다.

제안 방법

• 연속 프레임 간의 대상 외관 일관성을 강제하기 위해 시간적 정규화 항으로서 구조적 희소성 유도 노름을 도입한다.
• 각 입자가 대상 템플릿의 희소 선형 조합으로 표현되는 입자 필터 프레임워크 내에서 추적 문제를 수립한다.
• 후보 템플릿의 장기 및 단기 표현 가능성을 평가하여 가장 기술적인 템플릿만 선택하는 적응형 템플릿 업데이트 메커니즘을 제안한다.
• 입자 간 공동 희소성을 촉진하고 사전의 분류 능력을 향상시키기 위해 혼합 $β_{2,1}$-노름 정규화를 사용한다.
• 비볼록이고 구조적 희소 최적화 문제를 효율적으로 해결하기 위해 이론적 수렴 보장을 갖춘 새로운 최적화 알고리즘을 설계한다.
• 시간적 일관성과 적응형 표현 가능성 제약 조건을 통합된 목적 함수에 통합하여 강건한 추적을 실현한다.

실험 결과

연구 질문

• RQ1 어떻게 대상 외관의 시간적 일관성을 효과적으로 모델링하여 시각 추적에서 추적기 드리프트를 줄일 수 있는가?
• RQ2 장기 및 단기 표현 가능성의 통합이 템플릿 선택과 추적 강건성에 얼마나 기여하는가?
• RQ3 표현 가능성에 기반한 적응형 템플릿 업데이트 전략이 중요도 가중치 기반 업데이트 방법보다 우월한가?
• RQ4 표현 가능성 처리에 있어 제안된 구조적 희소성 정규화가 표준 $β_1$-노름 또는 $β_{2,1}$-노름 정규화보다 어떻게 우수한가?
• RQ5 복잡한 시각 조건에서도 제안된 최적화 프레임워크는 실질적으로 신뢰성 있고 효율적으로 수렴하는가?

주요 결과

• TRAC는 12개의 벤치마크 시퀀스에서 10개의 최신 기술 추적기보다 뛰어난 성능을 보이며 정밀도와 성공률 지표에서 최고 성능을 기록한다.
• 자세 변화 시퀀스(David2, Dudek, Trellis)에서 TRAC는 드리프트 또는 가림으로 인해 실패하는 OAB, L1APG, CT와 달리 정확한 추적을 유지한다.
• 조명 변화와 배경 혼잡성이 있는 시퀀스에서 TRAC는 최소한의 드리프트와 일관된 경계 상자 겹침을 보이며 뛰어난 강건성을 보여준다.
• 성공률 플롯은 TRAC가 모든 임계값에서 평균 겹침 점수를 가장 높게 기록하며, 특히 높은 겹침 임계값에서 뛰어난 성능을 보인다.
• 정밀도 지표는 TRAC가 실제 중심 위치에서 20 픽셀 이내의 프레임 비율을 높게 유지하며 모든 경쟁 방법보다 뛰어나다.
• 제거 실험 결과는 시간적 일관성과 적응형 템플릿 표현 가능성 모두 성능 향상에 기여하며, 각 성분이 추적 정확도와 안정성을 향상시킨다는 것을 확인한다.