[논문 리뷰] Backbone is All Your Need: A Simplified Architecture for Visual Object Tracking

Boyu Chen, Peixia Li외 7명|arXiv (Cornell University)|2022. 03. 10.

Video Surveillance and Tracking Methods인용 수 10

한 줄 요약

이 논문은 사례와 검색 이미지를 병렬로 처리하는 단일 브랜치 Vision Transformer 기반 백본을 도입하여 Siamese 네트워크를 대체하는 SimTrack를 제안한다. 이는 양쪽 입력에 대해 초기 단계부터 자기주의 어텐션을 활용하여 공동 특징 학습과 상호작용을 실현하며, LaSOT 및 TNL2K에서 기준 모델 대비 각각 2.5%/2.6% AUC 향상을 달성하여 전용 상호작용 모듈이 필요 없음을 입증하고, 추적에 일반적인 목적의 트랜스포머 백본이 효과적임을 보여준다.

ABSTRACT

Exploiting a general-purpose neural architecture to replace hand-wired designs or inductive biases has recently drawn extensive interest. However, existing tracking approaches rely on customized sub-modules and need prior knowledge for architecture selection, hindering the tracking development in a more general system. This paper presents a Simplified Tracking architecture (SimTrack) by leveraging a transformer backbone for joint feature extraction and interaction. Unlike existing Siamese trackers, we serialize the input images and concatenate them directly before the one-branch backbone. Feature interaction in the backbone helps to remove well-designed interaction modules and produce a more efficient and effective framework. To reduce the information loss from down-sampling in vision transformers, we further propose a foveal window strategy, providing more diverse input patches with acceptable computational costs. Our SimTrack improves the baseline with 2.5%/2.6% AUC gains on LaSOT/TNL2K and gets results competitive with other specialized tracking algorithms without bells and whistles.

연구 동기 및 목표

• Siamese 네트워크를 통합된 일반 목적의 트랜스포머 백본으로 대체하여 시각적 객체 추적을 단순화한다.
• 기존 추적 프레임워크에서 과도한 작업 특화 인식 편향과 맞춤형 설계된 상호작용 모듈에 대한 의존도를 줄인다.
• 단일 트랜스포머 백본 내에서 공동 특징 학습과 상호작용을 통해 추적 정확도를 향상시킨다.
• 초점 윈도우 전략을 통해 비전 트랜스포머의 다운샘플링으로 인한 정보 손실을 완화한다.
• 일반적인 사전 훈련된 트랜스포머 백본이 최소한의 아키텍처 수정만으로도 전용 설계를 능가할 수 있음을 입증한다.

제안 방법

• Vision Transformer 백본에 입력하기 전에 사례 이미지와 검색 이미지를 하나의 토큰 시퀀스로 직렬화한다.
• 표준 Vision Transformer 백본을 사용하여 멀티헤드 자기주의 어텐션을 통해 첫 번째 블록부터 다중 모odal 특징 상호작용을 가능하게 한다.
• 이미지 중심부 주변의 패치 샘플링 빈도를 높여 목표 관련 세부 정보를 유지하는 초점 윈도우 전략을 도입한다.
• 직렬화된 입력에 맞게 조정된 위치 임베딩을 적용하여 사례 및 검색 영역의 공간 인식 능력을 유지한다.
• 백본의 어텐션 메커니즘에 의존하여 전용 상호작용 헤드를 제거한다.
• 더 나은 초기화와 빠른 수렴을 위해 ImageNet 또는 MAE 가중치를 사전 훈련된 상태로 활용한다.

실험 결과

연구 질문

• RQ1 단일 브랜치 Vision Transformer 백본이 시각적 객체 추적에서 Siamese 네트워크와 전용 상호작용 헤드를 대체할 수 있는가?
• RQ2 통합된 트랜스포머 백본 내에서 공동 특징 학습과 상호작용이 추적 정확도 향상에 기여하는가?
• RQ3 초점 윈도우 전략은 비전 트랜스포머의 다운샘플링으로 인한 정보 손실을 국소화 작업에서 어떻게 줄이는가?
• RQ4 일반적인 비전 작업에서의 사전 훈련이 단순화된 프레임워크에서 추적 성능을 얼마나 향상시키는가?
• RQ5 백본이 이미 포괄적인 특징 상호작용을 수행한다면 추가 디코더나 상호작용 헤드가 필요한가?

주요 결과

• SimTrack는 TNL2K에서 54.8% AUC, LaSOT에서 77.7% AUC를 기록하여 ViT-B/16 기반 기준 모델인 STARK-SV를 각각 2.5점과 2.6점 이상 상회한다.
• 구성 요소별 추론 분석 결과, SimTrack 프레임워크(+Sim)만 추가해도 AUC가 1.3점 향상되었으며, 초점 윈도우 전략이 추가로 0.8점의 성능 향상을 이끌었다.
• 위치 임베딩과 초점 윈도우 전략 모두 효과적이지만, 후자가 성능 향상에 더 큰 기여를 하였다.
• 디코더 헤드를 제거해도 성능에 거의 영향을 주지 않아, 백본 자체가 충분한 상호작용을 수행함을 확인하였다.
• 상호작용 블록 수를 100%에서 50%로 줄이면 AUC가 2.5점 감소하고, 25%로 추가로 줄이면 다시 2.5점 감소하여 지속적인 상호작용이 핵심임을 입증하였다.
• 시각화 결과, SimTrack는 초기 레이어에서부터 점차 목표에 집중하는 경향을 보였지만, 기준 Siamese 모델은 목표 특화 주의 없이 일반 객체 특징을 학습하였다.