[논문 리뷰] Learning the Model Update for Siamese Trackers

Lichao Zhang, Abel González-García외 3명|arXiv (Cornell University)|2019. 08. 02.

Video Surveillance and Tracking Methods참고 문헌 48인용 수 14

한 줄 요약

이 논문은 시아모이드 추적기의 표준 선형 템플릿 업데이트를 대체하는 적응형이며 데이터 기반의 업데이트 전략을 갖춘 학습 가능한 컨볼루션 신경망인 UpdateNet을 제안한다. 초기 템플릿, 현재 프레임의 특징 및 누적된 이력을 활용함으로써, 여러 벤치마크에서 추적 정확도를 향상시키며, DaSiamRPN과 통합했을 때 TrackingNet에서 성공 점수에 3.9%의 절대적 향상을 이룬다.

ABSTRACT

Siamese approaches address the visual tracking problem by extracting an appearance template from the current frame, which is used to localize the target in the next frame. In general, this template is linearly combined with the accumulated template from the previous frame, resulting in an exponential decay of information over time. While such an approach to updating has led to improved results, its simplicity limits the potential gain likely to be obtained by learning to update. Therefore, we propose to replace the handcrafted update function with a method which learns to update. We use a convolutional neural network, called UpdateNet, which given the initial template, the accumulated template and the template of the current frame aims to estimate the optimal template for the next frame. The UpdateNet is compact and can easily be integrated into existing Siamese trackers. We demonstrate the generality of the proposed approach by applying it to two Siamese trackers, SiamFC and DaSiamRPN. Extensive experiments on VOT2016, VOT2018, LaSOT, and TrackingNet datasets demonstrate that our UpdateNet effectively predicts the new target template, outperforming the standard linear update. On the large-scale TrackingNet dataset, our UpdateNet improves the results of DaSiamRPN with an absolute gain of 3.9% in terms of success score.

연구 동기 및 목표

• 고정된 비율의 선형 템플릿 업데이트 방식이 동적인 외관 변화와 부분적 가림 현상에 적응하지 못하는 한계를 해결하기 위해.
• 추적의 강건성과 정확도를 향상시키기 위해 일반적이고 컴act하며 학습 가능한 업데이트 메커니즘을 개발하기 위해.
• 초기 프레임, 현재 프레임 및 이전 프레임의 누적 템플릿에서 유래한 맥락 정보를 사용하여 온라인으로 목표 템플릿을 적응시키기 위해.
• 장기적인 시퀀스와 큰 외관 변화가 존재하는 다양한 추적 시나리오에서 업데이트 과정을 학습하는 것이 효과적인지 입증하기 위해.

제안 방법

• UpdateNet은 세 가지 입력을 받는 경량 컨볼루션 신경망이다: 초기 진짜 템플릿, 현재 프레임의 특징 표현, 이전 프레임들로부터 누적된 템플릿.
• 입력 템플릿과 목표 외관 사이의 복잡한 비선형 관계를 학습함으로써 다음 프레임에 최적의 업데이트된 템플릿을 예측한다.
• 업데이트 메커니즘은 엔드 투 엔드로 학습 가능하며, SiamFC나 DaSiamRPN과 같은 기존 Siamese 추적기의 핵심 아키텍처를 변경하지 않고도 원활하게 통합될 수 있다.
• 모델은 추론 중 추적 오차를 최소화하도록 학습되어, 관련 영역을 우선적으로 선택하고 노이즈 또는 혼동 물체를 억제하는 데 적응적으로 기여한다.
• 특히 부분적 가림 상황에서 유리한 국소화된 업데이트를 가능하게 하기 위해, 공간적으로 인지하는 템플릿 정밀 조정을 학습한다.
• UpdateNet은 플러그 앤 플레이 방식으로 평가되어 기반 추적기의 효율성을 유지하면서도 온라인 적응 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한 업데이트 메커니즘이 다양한 추적 시나리오에서 표준 선형 업데이트 규칙보다 우월한가?
• RQ2 제안된 UpdateNet이 큰 외관 변화가 존재하는 장기 추적에서 강건성을 어떻게 향상시키는가?
• RQ3 신경망 기반 업데이트 전략이 다양한 Siamese 추적기 아키텍처에 얼마나 일반화되는가?
• RQ4 업데이트 과정을 학습하는 것이 대규모 벤치마크에서 성공도 및 정밀도 지표에 측정 가능한 향상을 이끌어내는가?

주요 결과

• UpdateNet은 DaSiamRPN을 TrackingNet 대규모 데이터셋에서 성공 점수에 3.9%의 절대적 향상으로 향상시켜 실제 추적 환경에서 강력한 성능 향상을 입증한다.
• LaSOT 벤치마크에서 UpdateNet이 향상시킨 추적기는 모든 최신 기술 방법을 뛰어넘어 정밀도 및 성공 지표에서 최고 성능을 기록한다.
• VOT2018에서 기준 DaSiamRPN 대비 EAO 점수에 4.2% 향상되어 추적 정확도와 강건성이 향상됨을 보여준다.
• 강건성(R 점수) 측면에서 실패율을 5.6% 감소시켜 추적 실패나 드리프트 회복 능력이 향상됨을 시사한다.
• 계산 효율성을 유지하며 어떤 Siamese 추적기에도 최소한의 오버헤드로 통합 가능하여 일반화 능력을 입증한다.
• 제거 실험을 통해 학습된 업데이트 전략이 운동 왜곡 및 가림과 같은 도전적인 조건에서 고정 비율 선형 업데이트보다 더 적응형임을 확인한다.