[논문 리뷰] SiamFC++: Towards Robust and Accurate Visual Tracking with Target Estimation Guidelines

Yinda Xu, Zeyu Wang외 3명|arXiv (Cornell University)|2019. 11. 14.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 57

한 줄 요약

SiamFC++는 시각 추적을 위한 실용적인 목표 추정 가이드라인을 제시하고, 품질 분기를 가진 앵커-프리의 픽셀당 시암 네트워크 기반 트래커를 구축하며, 다섯 가지 벤치마크에서 높은 속도에 걸쳐 최첨단 결과를 달성한다.

ABSTRACT

Visual tracking problem demands to efficiently perform robust classification and accurate target state estimation over a given target at the same time. Former methods have proposed various ways of target state estimation, yet few of them took the particularity of the visual tracking problem itself into consideration. After a careful analysis, we propose a set of practical guidelines of target state estimation for high-performance generic object tracker design. Following these guidelines, we design our Fully Convolutional Siamese tracker++ (SiamFC++) by introducing both classification and target state estimation branch(G1), classification score without ambiguity(G2), tracking without prior knowledge(G3), and estimation quality score(G4). Extensive analysis and ablation studies demonstrate the effectiveness of our proposed guidelines. Without bells and whistles, our SiamFC++ tracker achieves state-of-the-art performance on five challenging benchmarks(OTB2015, VOT2018, LaSOT, GOT-10k, TrackingNet), which proves both the tracking and generalization ability of the tracker. Particularly, on the large-scale TrackingNet dataset, SiamFC++ achieves a previously unseen AUC score of 75.4 while running at over 90 FPS, which is far above the real-time requirement. Code and models are available at: https://github.com/MegviiDetection/video_analyst .

연구 동기 및 목표

• 고성능 추적기에서 목표 상태 추정에 대한 실용적인 가이드라인을 식별한다.
• 앵커 없이 분류와 정밀한 목표 상태 추정을 통합하는 시암 트래커를 설계한다.
• 로컬라이제이션을 향상시키기 위해 추정 품질 점수를 도입한다.
• 다양한 벤치마크에서 최첨단 성능과 일반화를 입증한다.

제안 방법

• 교차상관 후에 분류 헤드와 회귀 헤드를 모두 갖춘 완전 합성곱 시암 트래커를 개발한다.
• 픽셀 위치에서 예측하여 앵커 기반 매칭을 제거하고, 모호하지 않은 채점과 목표 크기 분포에 대한 사전 지식 없이 작동하도록 한다.
• 추론 중 바운딩 박스 품질에 가중치를 두는 Prior Spatial Score(PSS)를 출력하는 추정 품질 분기를 도입한다.
• 분류 손실, 품질 손실, 회귀 손실을 결합한 학습 목표를 정의한다(L = Lcls + lambda*Lquality + lambda*Lreg).
• 분류 점수에 품질 점수를 곱한 페널티가 있는 최종 점수를 사용하여 강건한 바운딩박스 선택을 수행한다.
• 두 백본(AlexNet와 GoogLeNet)을 평가하고 설계 선택을 정당화하기 위해 광범위한 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 분류와 목표 상태 추정의 분해가 추적의 강건성과 정확성을 향상시키는가?
• RQ2 앵커-프리, 픽셀당 예측이 점수화와 추정 모두에 대해 앵커 기반 방식보다 바람직한가?
• RQ3 추정 품질 점수(PSS 또는 IoU 기반의)가 위치추정 정확도를 향상시키는가?
• RQ4 제안된 가이드라인이 다양한 추적 벤치마크에서 최첨단 결과를 제공하고 실시간 속도를 유지하는가?

주요 결과

• SiamFC++는 다섯 벤치마크: OTB2015, VOT2018, LaSOT, GOT-10k, TrackingNet에서 최첨단 결과를 달성한다.
• TrackingNet에서 SiamFC++-GoogLeNet은 90 FPS 이상으로 실행되면서 AUC 75.4를 달성한다.
• 앵커를 제거하고 픽셀당 예측을 사용하면 SiamRPN++와 같은 앵커 기반 추적기에 비해 매칭 모호성을 줄이고 강건성과 일반화를 향상시킨다.
• 추정 품질 점수(PSS)를 도입하면 위치 추정 정확도와 강건성이 향상되며, 데이터셋 간 안정성을 위해 PSS가 선택된다.
• AlexNet 및 GoogLeNet 변형은 강력한 성능-속도 트레이드‑오프를 제공하여 VOT2018에서 EAO(0.400)로 경쟁력 있고, 강건성은 더 우수하다.