[논문 리뷰] Visual tracking with reliable memories

Shu Wang, Shaoting Zhang외 2명|arXiv (Cornell University)|2016. 07. 09.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 5

한 줄 요약

이 논문은 장기 추적에서의 드리프트 문제를 해결하기 위해 이산 푸리에 변환(DFT) 기반 추적과 시간적 제약이 있는 군집화를 활용하는 시각 추적 프레임워크를 제안한다. 이 방법은 과거 프레임들로부터 신뢰할 수 있고 일관된 패턴을 발견하고 저장하여 '신뢰할 수 있는 기억'으로 활용함으로써 드리프트를 억제한다. 제안된 방법은 상태기반 성능을 달성하여 대부분의 기존 추적기가 실패하는 4,000 프레임 이상의 영상도 성공적으로 추적한다.

ABSTRACT

In this paper, we propose a novel visual tracking framework that intelligently discovers patterns from a wide range of video to resist drift error for long-term tracking tasks. First, we design a Discrete Fourier Transform (DFT) based tracker which is able to exploit a large number of tracked samples while still ensures real-time performance. Second, we propose a clustering method with temporal constraints to explore and memorize consistent patterns from previous frames, named as reliable memories. By virtue of this method, our tracker can utilize uncontaminated information to alleviate drifting issues. Experimental results show that our tracker performs favorably against other state-of-the-art methods on benchmark datasets. Furthermore, it is significantly competent in handling drifts and able to robustly track challenging long videos over 4000 frames, while most of others lose track at early frames.

연구 동기 및 목표

• 장기 시각 추적에서 지속적인 드리프트 문제, 특히 가림과 외형 변화가 발생하는 도전적인 시퀀스에서의 문제를 해결하기 위해.
• 역사적 프레임에서 지능적으로 일관되고 오염되지 않은 패턴을 추출하고 유지함으로써 추적의 강건성을 향상시키기 위해.
• 장기적인 영상 시퀀스 동안 많은 수의 추적 샘플을 활용하면서도 실시간 성능를 유지하기 위해.
• 대부분의 기존 추적기가 실패하는 기준이 되는 4,000 프레임 이상의 추적을 가능하게 하기 위해.

제안 방법

• 실시간으로 대량의 추적 샘플을 효율적으로 처리하고 활용할 수 있도록 이산 푸리에 변환(DFT) 기반 추적기를 설계하였다.
• 과거 프레임들에서 일관된 시각 패턴을 식별하고 저장하기 위해 시간적 제약이 있는 군집화 방법을 도입하여 '신뢰할 수 있는 기억'을 형성하였다.
• 추적기가 높은 신뢰도를 유지하는 프레임들에서 유래된 신뢰할 수 있는 기억은 오직 깔끔하고 안정적인 특징만 유지됨을 보장한다.
• 추적 중에 동적으로 이러한 신뢰할 수 있는 기억을 검색하고 활용하여 드리프트를 수정하고 예측을 안정화시킨다.
• 군집화에 적용된 시간적 제약은 오직 일관된 시간 간격 동안 반복되는 패턴—즉, 시간적으로 일관된 패턴—만을 선택하고 유지함으로써 효과를 높인다.
• 추적 루프에 신뢰할 수 있는 기억을 통합함으로써 실시간 성능를 훼손하지 않으면서도 강건성을 향상시켰다.

실험 결과

연구 질문

• RQ1 장기 영상 시퀀스에서 일관된 시각 패턴을 효과적으로 학습하고 재사용함으로써 드리프트를 줄일 수 있는가?
• RQ2 실시간 효율성을 유지하면서도 역사적 프레임들로부터 자동으로 신뢰할 수 있는 기억을 발견하고 저장할 수 있는가?
• RQ3 군집화에 적용된 시간적 제약이 저장된 시각 패턴의 품질과 관련성에 어느 정도 기여하는가?
• RQ4 메모리 증강 추적기의 성능이 장기 추적 벤치마크에서 특히 4,000 프레임 이상의 경우에 최신 기술을 능가할 수 있는가?

주요 결과

• 제안된 추적기는 표준 벤치마크 데이터셋에서 최신 기술 수준의 성능를 달성하였으며, 장기 추적 시나리오에서 기존 방법들을 능가하였다.
• 대부분의 기존 추적기가 훨씬 이르게 추적을 상실하는 것과는 달리, 4,000 프레임을 초과하는 시퀀스를 성공적으로 추적하였다.
• 신뢰할 수 있는 기억의 사용은 외형 변화와 가림이 발생하는 장기 추적에서 드리프트를 크게 줄였다.
• DFT 기반 추적기는 대량의 추적 샘플을 처리하더라도 실시간 성능를 유지할 수 있었다.
• 시간적 제약이 있는 군집화 방법은 과거 프레임들로부터 안정적이고 일관된 시각 패턴을 효과적으로 식별하고 유지하였다.
• 이전 방법들이 드리프트로 인해 실패하는 도전적인 추적 시나리오에서도 이 프레임워크는 강건성을 입증하였다.