[논문 리뷰] Context-aware Visual Tracking with Joint Meta-updating

Qiuhong Shen, Xin Li외 2명|arXiv (Cornell University)|2022. 04. 04.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 표현 공간에서 사전 추론 기반 메타업데이트를 통해 시아모닉 트래커의 국소화 및 박스 추정 브랜치를 공동으로 업데이트하는 맥락 인식 시각 추적 프레임워크를 제안한다. 이는 맥락 집약 모듈과 친화성 벡터를 통해 전역 및 국소 특징의 상보성을 활용한다. 이 방법은 VOT2018에서 40 FPS 속도로 EAO 점수 0.514를 기록하며, 기준 트래커를 크게 능가한다. 기울기 기반 메타학습을 통해 과적합을 완화한다.

ABSTRACT

Visual object tracking acts as a pivotal component in various emerging video applications. Despite the numerous developments in visual tracking, existing deep trackers are still likely to fail when tracking against objects with dramatic variation. These deep trackers usually do not perform online update or update single sub-branch of the tracking model, for which they cannot adapt to the appearance variation of objects. Efficient updating methods are therefore crucial for tracking while previous meta-updater optimizes trackers directly over parameter space, which is prone to over-fit even collapse on longer sequences. To address these issues, we propose a context-aware tracking model to optimize the tracker over the representation space, which jointly meta-update both branches by exploiting information along the whole sequence, such that it can avoid the over-fitting problem. First, we note that the embedded features of the localization branch and the box-estimation branch, focusing on the local and global information of the target, are effective complements to each other. Based on this insight, we devise a context-aggregation module to fuse information in historical frames, followed by a context-aware module to learn affinity vectors for both branches of the tracker. Besides, we develop a dedicated meta-learning scheme, on account of fast and stable updating with limited training samples. The proposed tracking method achieves an EAO score of 0.514 on VOT2018 with the speed of 40FPS, demonstrating its capability of improving the accuracy and robustness of the underlying tracker with little speed drop.

연구 동기 및 목표

• 단일 브랜치 온라인 업데이트 또는 고정된 오프라인 템플릿으로 인해 큰 외관 변화에서 실패하는 기존 딥 트래커의 한계를 해결하기 위해.
• 시퀀스 전체 맥락을 활용해 표현 공간으로 최적화를 이동시켜 매개변수 공간에서의 메타업데이트 시 과적합 문제를 해결하기 위해.
• 상보적인 국소 및 전역 특징을 사용해 국소화 및 박스 추정 브랜치를 공동으로 업데이트함으로써 추적 성능을 향상시키기 위해.
• 제한된 훈련 샘플로도 안정적이고 빠른 온라인 적응 메커니즘을 개발하기 위해 전용 메타초기화 기법을 사용하기 위해.
• 크기 감소 없이 장기 추적 시퀀스에서의 강건성과 정확도를 향상시키기 위해.

제안 방법

• 역사적 프레임워크 특징을 융합하여 트래커 브랜치 양쪽의 표현을 풍부화하는 맥락 집약 모듈을 도입한다.
• 작업별 친화성 벡터를 학습하여 국소화 및 회귀 브랜치의 공동 적응을 안내하는 맥락 인식 모듈을 설계한다.
• 기울기 기반 메타학습 기법을 사용해 공동 업데이트기를 초기화하고 업데이트함으로써, 적은 샘플로도 빠르고 안정적인 적응을 보장한다.
• 매개변수 공간이 아닌 표현 공간에서 트래커를 최적화함으로써, 장기간 시퀀스 동안 과적합 위험을 감소시킨다.
• 분류(국소 특징)와 경계상자 회귀(전역 특징)를 위한 별도의 브랜치를 갖는 시아모닉 네트워크 아키텍처를 사용하며, 친화성 벡터를 통한 교차 브랜치 주의 메커니즘으로 강화한다.
• 공동 업데이트기의 메타초기화를 적용하여 초기 적응의 안정성을 높이고, 새로운 추적 시퀀스에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 국소화 및 박스 추정 브랜치의 공동 메타업데이트가 큰 외관 변화 상황에서 추적 강건성을 향상시킬 수 있는가?
• RQ2 매개변수 공간 대신 표현 공간에서 최적화하면 장기 추적 중 과적합을 줄일 수 있는가?
• RQ3 상보적인 국소 및 전역 특징을 효과적으로 융합하여 트래커 적응 능력을 향상시킬 수 있는가?
• RQ4 메타초기화 기법이 낮은 데이터 환경에서 온라인 적응의 안정성과 속도를 어떻게 향상시키는가?
• RQ5 제안된 방법이 다양한 벤치마크에서 최신 기술 대비 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 VOT2018에서 EAO 점수 0.514를 기록하며, DiMP 기준선 대비 16.8% 상대적 향상률을 보였다.
• LaSOT에서 AUC 점수 0.573을 기록하여 성공, 정밀도, 정규화된 정밀도 지표에서 비교된 모든 최신 기술 트래커를 능가했다.
• 절단 실험을 통해 양 브랜치의 공동 업데이트가 VOT2018에서 EAO 0.506을 기록하며, 단일 브랜치 업데이트(0.455–0.473)보다 뚜렷이 뛰어난 성능을 보였다.
• 메타초기화의 포함으로 OTB100에서 AUC 점수가 0.697으로 상승하고, VOT2018에서 EAO는 0.514로 상승하여 안정화 효과를 입증했다.
• 40 FPS의 높은 효율성을 유지하면서도, 강화된 적응 능력에도 불구하고 성능 저하가 최소한이었다.
• 친화성 벡터를 갖춘 맥락 인식 모듈은 특히 높은 외관 변화 상황에서 국소화 정확도와 박스 추정 능력을 모두 향상시켰다.