[논문 리뷰] FCLT - A Fully-Correlational Long-Term Tracker

Alan Lukežič, Luka Čehovin Zajc외 3명|arXiv (Cornell University)|2017. 11. 27.

Video Surveillance and Tracking Methods참고 문헌 36인용 수 14

한 줄 요약

FuCoLoT는 다양한 시간 스케일에서 훈련된 다중 상관 필터를 사용하여 효율적인 대상 재검출과 장애 추정을 위한 상관 응답을 통해 완전히 상관적인 장기 추적기를 구현한다. UAV20L에서 최신 기준 성능을 달성하며, 단일 CPU 스레드에서 15fps로 실행되면서도 메모리 사용량이 한 단계 낮아져 이전 방법보다 19% 이상 뛰어난 성능을 보인다.

ABSTRACT

We propose FuCoLoT -- a Fully Correlational Long-term Tracker. It exploits the novel DCF constrained filter learning method to design a detector that is able to re-detect the target in the whole image efficiently. FuCoLoT maintains several correlation filters trained on different time scales that act as the detector components. A novel mechanism based on the correlation response is used for tracking failure estimation. FuCoLoT achieves state-of-the-art results on standard short-term benchmarks and it outperforms the current best-performing tracker on the long-term UAV20L benchmark by over 19%. It has an order of magnitude smaller memory footprint than its best-performing competitors and runs at 15fps in a single CPU thread.

연구 동기 및 목표

• 심한 가림과 큰 외형 변화가 발생하는 환경에서의 장기 시각적 추적 과제를 해결하기 위해.
• 높은 정확도를 유지하면서도 장기 추적기의 메모리 소비를 줄이기 위해.
• 장기 추적 환경에서의 장애 감지 및 대상 재검출 효율을 향상시키기 위해.
• 딥러닝을 사용하지 않고도 단일 CPU 시스템에서 실시간 성능을 확보하면서 추적의 견고성을 유지하기 위해.

제안 방법

• FuCoLoT는 장기간의 시퀀스 동안 검출의 견고성을 향상시키기 위해 다양한 시간 스케일에서 훈련된 다중 상관 필터를 활용한다.
• 효율적이고 정확한 대상 정위치를 위해 상관 필터를 최적화하기 위한 새로운 DCF 제약 필터 학습 방법을 도입한다.
• 상관 응답 기반 메커니즘을 사용하여 추적 장애를 추정하고 대상 재검출을 트리거한다.
• 깊이 신경망 대신 경량 상관 필터를 활용함으로써 작고 컴act한 메모리 프로필을 유지한다.
• 단일 CPU 스레드만을 사용하여 15fps로 실시간으로 작동하여 저자원 장치에의 배포를 가능하게 한다.
• 다양한 시간 스케일에 걸친 상관 응답을 활용하여 전체 이미지 범위에서 대상의 효율적 재검출을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝에 의존하지 않고도 완전히 상관적인 추적기가 장기 추적 벤치마크에서 최신 기준 성능을 달성할 수 있는가?
• RQ2 다양한 시간 스케일에서 상관 필터를 효과적으로 조합하여 장기 추적의 견고성을 향상시킬 수 있는가?
• RQ3 경량 상관 기반 추적기가 최소한의 메모리 사용량으로 단일 CPU 스레드에서 실시간 추론을 수행할 수 있는가?
• RQ4 상관 응답 기반 메커니즘이 장기 추적에서 신뢰성 있게 추적 장애를 감지하고 재검출을 트리거할 수 있는가?

주요 결과

• FuCoLoT는 장기 UAV20L 벤치마크에서 이전 최고 성능 기록을 가진 추적기보다 19.1% 높은 정확도를 달성한다.
• 단일 CPU 스레드만을 사용하여 15fps로 작동하여 저성능 하드웨어에서 실시간 배포가 가능하다.
• FuCoLoT는 최고 성능의 경쟁자들보다 한 단계 낮은 메모리 프로필을 가진다.
• 다양한 시간 스케일 상관 필터의 사용은 장시간의 가림 이후 재검출 능력을 크게 향상시킨다.
• 상관 응답 기반의 장애 추정 메커니즘은 도전적인 추적 환경에서의 견고성을 향상시킨다.
• FuCoLoT는 표준 단기 벤치마크에서도 최신 기준 성능을 달성하여 일반화 능력을 확인한다.