[논문 리뷰] 'Skimming-Perusal' Tracking: A Framework for Real-Time and Robust Long-term Tracking

Bin Yan, Haojie Zhao외 3명|arXiv (Cornell University)|2019. 09. 04.

Video Surveillance and Tracking Methods참고 문헌 40인용 수 34

한 줄 요약

실시간 장기 추적 프레임워크를 도입하고 두 가지 오프라인 구성요소: 로컬 추적용 perusal 모듈(SiameseRPN regressor + offline verifier) 및 빠른 이미지 전체 재탐지를 위한 skimming 모듈로, VOT2018LT와 OxUvA에서 최첨단 결과를 달성하며 실시간으로 작동한다.

ABSTRACT

Compared with traditional short-term tracking, long-term tracking poses more challenges and is much closer to realistic applications. However, few works have been done and their performance have also been limited. In this work, we present a novel robust and real-time long-term tracking framework based on the proposed skimming and perusal modules. The perusal module consists of an effective bounding box regressor to generate a series of candidate proposals and a robust target verifier to infer the optimal candidate with its confidence score. Based on this score, our tracker determines whether the tracked object being present or absent, and then chooses the tracking strategies of local search or global search respectively in the next frame. To speed up the image-wide global search, a novel skimming module is designed to efficiently choose the most possible regions from a large number of sliding windows. Numerous experimental results on the VOT-2018 long-term and OxUvA long-term benchmarks demonstrate that the proposed method achieves the best performance and runs in real-time. The source codes are available at https://github.com/iiau-tracker/SPLT.

연구 동기 및 목표

• 단기 추적과 실제 세계의 장기 추적 사이의 격차를 해소하고 강인한 존재 여부 탐지와 빠른 재탐지를 가능하게 한다.
• 오프라인 학습된 구성요소를 작동시키는 두 모듈 프레임워크를 개발한다(로컬 추적용 perusal, 빠른 전역 탐색용 skimming).
• 정확성을 떨어뜨리지 않으면서 장기 벤치마크에서 실시간 성능을 달성한다.
• 딥 네트워크를 기반으로 한 장기 추적의 현실적인 기준선을 제공한다.

제안 방법

• 오프라인 학습된 SiameseRPN regressor로 로컬 탐색 영역 내의 후보 바운딩 박스를 생성하고, 오프라인 학습된 verifier가 점수를 매겨 최적의 후보를 선택한다.
• 검증은 트리플렛 손실로 학습된 딥 피처 임베딩을 사용하여 코사인 유사도 기반 신뢰도 점수를 계산한다.
• Skimming 모듈은 많은 슬라이딩 윈도우 영역에서 대상의 존재 여부를 빠르게 예측하는 이진 분류기를 학습하고 상위 K 후보를 선택하여 추가 처리한다.
• 검증자의 신뢰도에 따라 로컬 검색과 글로벌 검색 간에 동적으로 전환하며 임계값 theta(실험에서 0.65)를 사용한다.
• 오분류에서 채굴된 어려운 사례를 사용하여 검증자를 개선하는 계단식 학습 전략.
• 구현은 회귀 및 skimming에서 특징 추출에 MobileNetV1을 사용하고, 검증자 백본으로 ResNet50을 사용하며 이미지 크기는 (template 127x127, search 300x300)이다.

실험 결과

연구 질문

• RQ1 오프라인 학습된 구성요소를 사용하여 실시간 성능으로 견고한 장기 추적을 달성하는 방법은?
• RQ2 두 모듈 Skimming-Perusal 프레임워크가 장기 벤치마크에서 재탐지 속도와 정확도를 향상시킬 수 있는가?
• RQ3 검증자 강건성을 높이기 위한 효과적인 학습 전략(계단식 학습 포함)은 무엇인가?
• RQ4 지역 검색과 글로벌 검색 간의 동적 전환이 장기 추적의 정확도와 속도에 어떤 영향을 미치는가?

주요 결과

• SPLT 추적기는 VOT2018LT에서 F-score와 recall에서 최상위 성능을 달성했으며 실험에서 25.7 fps를 기록했다.
• VOT2018LT에서 MBMD와 DaSiam_LT를 정확도 지표와 재탐지 능력 면에서 모두 상회하며 재탐지 성공률은 100%이다.
• OxUvA 장기에서 SPLT가 최상위 MaxGM에 도달하고, MBMD 및 SiamFC+R 대비 MaxGM, TPR, TNR에서 상당한 이점을 보인다.
• 전용 skimming 모듈이 이미지 전체 재탐지 속도를 크게 높이고 오탐 후보를 걸러내어 강건성을 향상시킨다.
• 평균 제거 실험 결과는 검증자와 skimming 모듈을 추가하면 로컬 검색 대비 F-score와 속도가 크게 향상된다.