[논문 리뷰] AFAT: Adaptive Failure-Aware Tracker for Robust Visual Object Tracking

Tianyang Xu, Zhenhua Feng외 2명|arXiv (Cornell University)|2020. 05. 27.

Video Surveillance and Tracking Methods참고 문헌 50인용 수 7

한 줄 요약

이 논문은 Siamese 시각 객체 추적기의 성능을 향상시키기 위해 품질 예측 네트워크(QPN)를 통합하여 실시간으로 추적 실패를 탐지할 수 있는 적응형 실패 인식 추적기인 AFAT을 제안한다. QPN은 CNN과 LSTM 모듈을 이용해 반응 맵의 시공간 융합을 통해 추적 신뢰도를 예측하며, 이는 실시간 실패 탐지 및 수정을 가능하게 하여 속도를 저하시키지 않은 채 벤치마크 데이터셋에서 정확도와 견고성을 향상시킨다.

ABSTRACT

Siamese approaches have achieved promising performance in visual object tracking recently. The key to the success of Siamese trackers is to learn appearance-invariant feature embedding functions via pair-wise offline training on large-scale video datasets. However, the Siamese paradigm uses one-shot learning to model the online tracking task, which impedes online adaptation in the tracking process. Additionally, the uncertainty of an online tracking response is not measured, leading to the problem of ignoring potential failures. In this paper, we advocate online adaptation in the tracking stage. To this end, we propose a failure-aware system, realised by a Quality Prediction Network (QPN), based on convolutional and LSTM modules in the decision stage, enabling online reporting of potential tracking failures. Specifically, sequential response maps from previous successive frames as well as current frame are collected to predict the tracking confidence, realising spatio-temporal fusion in the decision level. In addition, we further provide an Adaptive Failure-Aware Tracker (AFAT) by combing the state-of-the-art Siamese trackers with our system. The experimental results obtained on standard benchmarking datasets demonstrate the effectiveness of the proposed failure-aware system and the merits of our AFAT tracker, with outstanding and balanced performance in both accuracy and speed.

연구 동기 및 목표

• Siamese 추적기의 온라인 적응 능력 부족과 실패 탐지 메커니즘의 부재를 해결하기 위해.
• 순차적인 반응 맵을 이용해 추적 응답의 불확실성을 평가하여 실시간 온라인 실패 탐지 기능을 제공하기 위해.
• 기존 Siamese 추적기와 호환 가능한 경량이고 구현 가능한 품질 예측 시스템을 개발하기 위해.
• 외관 변화나 가림 등 도전적인 시각 조건 하에서도 추적의 견고성과 정확도를 향상시키기 위해.
• 현재 추적 난이도를 예측하여 추적 중에 적응형 모델 선택을 가능하게 하기 위해.

제안 방법

• 최근 프레임의 순차적 반응 맵을 처리하여 추적 신뢰도를 예측하는 품질 예측 네트워크(QPN)를 제안한다.
• QPN은 반응 맵의 공간적 특징을 추출하기 위해 2D 컨볼루션 레이어를 사용하고, 프레임 간 시간적 의존성을 모델링하기 위해 양방향 LSTM을 활용한다.
• 현재 및 이전 프레임의 반응 맵을 스택하여 QPN의 입력으로 사용함으로써 결론 수준에서 시공간 융합을 구현한다.
• 지표로 사용된 예측 및 진짜 바운딩 박스 간 IOU를 기반으로 한 진짜 품질 레이블을 사용하여, QPN은 지도 학습 방식으로 훈련된다.
• QPN은 최신 Siamese 추적기(SiamRPN++ 등)와 통합되어 실시간 실패 경고 및 적응형 보정이 가능한 적응형 실패 인식 추적기(AFAT)를 구성한다.
• 훈련 중에 보수적인 탐지 전략을 적용하여 잘못된 경고를 줄이고 진짜 실패의 대부분을 경고함으로써 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 반응 맵의 시공간 패턴을 분석하여 온라인 실패 탐지가 효과적으로 가능할 수 있는가?
• RQ2 CNN과 LSTM 모듈을 기반으로 한 경량 QPN이 실시간으로 추적 품질을 신뢰성 있게 예측할 수 있는가?
• RQ3 실패 인식 시스템을 통합함으로써 Siamese 추적기의 도전적인 시각 조건 하에서의 견고성과 정확도가 향상되는가?
• RQ4 제안된 시스템이 추적 중 적응형 모델 선택을 가능하게 하면서도 높은 추론 속도를 유지할 수 있는가?
• RQ5 QPN의 실패 탐지 성능이 수작업으로 설정한 임계값이나 히우리스틱 방법보다 우수한가?

주요 결과

• AFAT는 VOT2019 데이터셋에서 EAO 점수 0.295를 기록하여 ATOM(0.292) 및 SiamRPN++(0.292)를 포함한 최신 기술들을 능가한다.
• VOT2018에서 AFAT는 EAO 0.419와 정확도 0.605를 기록하여 13개의 최신 기술 중 1위를 차지했다.
• LaSOT에서 AFAT는 정규화 정밀도 0.574를 기록하여 SiamRPN++(0.571)를 약간 앞서며 AUC 0.612를 달성했다.
• AFAT는 높은 속도를 유지하여 실패 빈도에 따라 매초 70~87 프레임을 처리했으며, QPN 추론 시간은 프레임당 단지 1.2~1.5ms에 불과했다.
• Bird2 시퀀스에서 QPN은 5건의 실패를 탐지했으며, 이 중 3건은 참 양성, 2건은 참 음성으로, 효과적인 실패 경고 기능을 입증했다.
• SiamRPN++와 QPN의 통합은 다양한 벤치마크에서 일관된 성능 향상을 이끌어내어 적응형 실패 인식 아키텍처의 효과성을 확인했다.