[논문 리뷰] Siamese Keypoint Prediction Network for Visual Object Tracking

Qiang Li, Zekui Qin외 2명|arXiv (Cornell University)|2020. 06. 07.

Video Surveillance and Tracking Methods참고 문헌 57인용 수 11

한 줄 요약

이 논문은 코arse에서 fine으로 예측을 개선하기 위해 점점 더 엄격한 감시를 적용하는 히트맵 헤드의 캐스케이드를 사용하는 시アン 키포인트 예측 네트워크인 SiamKPN을 제안한다. 느슨한 후보자에서 엄격한 중간 감시를 적용함으로써 모델은 간섭물과 가림을 견디는 높은 정확도와 강건성을 확보하며, OTB-100, VOT2018, LaSOT, GOT-10k에서 최신 기술을 능가하면서 실시간 속도(24 FPS)로 작동한다.

ABSTRACT

Visual object tracking aims to estimate the location of an arbitrary target in a video sequence given its initial bounding box. By utilizing offline feature learning, the siamese paradigm has recently been the leading framework for high performance tracking. However, current existing siamese trackers either heavily rely on complicated anchor-based detection networks or lack the ability to resist to distractors. In this paper, we propose the Siamese keypoint prediction network (SiamKPN) to address these challenges. Upon a Siamese backbone for feature embedding, SiamKPN benefits from a cascade heatmap strategy for coarse-to-fine prediction modeling. In particular, the strategy is implemented by sequentially shrinking the coverage of the label heatmap along the cascade to apply loose-to-strict intermediate supervisions. During inference, we find the predicted heatmaps of successive stages to be gradually concentrated to the target and reduced to the distractors. SiamKPN performs well against state-of-the-art trackers for visual object tracking on four benchmark datasets including OTB-100, VOT2018, LaSOT and GOT-10k, while running at real-time speed.

연구 동기 및 목표

• 기존의 복잡한 앵커 기반 설계에 크게 의존하거나 간섭물에 효과적으로 대응하지 못하는 시앙 투자 추적기의 한계를 해결하기 위해.
• 온라인 모델 업데이트 없이도 추적 강건성과 정확도를 향상시키기 위해, 구조화된 감시를 활용한 엔드 투 엔드 오프라인 훈련을 활용하기 위해.
• 다단계 히트맵 감시를 통해 점진적으로 객체 위치를 정밀화하는 앵커 없는 다단계 예측 전략을 탐색하기 위해.
• 다양한 추적 벤치마크에서 어려운 조건(예: 가림, 척도 변화)을 감안해도 고성능을 유지하면서 실시간 추론 속도를 확보하기 위해.

제안 방법

• 템플릿 영역와 검색 영역에서 공유 특징을 추출하기 위해 ResNet-50 기반의 시앙 백본을 사용한다.
• 작은 키포인트 예측(KPN) 헤드의 캐스케이드를 도입하며, 각 헤드는 표준 컨볼루션과 디프스와이즈 크로스코릴레이션을 사용하여 반응 맵을 생성한다.
• 히트맵 감시에서 변동성 감소 전략을 적용한다: 초기 단계는 넓은(느슨한) 레이블을 사용하고, 점차 후속 단계로 갈수록 엄격하고 목표물에 국한된 레이블로 전환한다.
• 다중 작업 손실을 훈련 중에 사용하여 정위치 정확도와 강건성을 동시에 최적화하며, 여러 단계에서 감시를 적용한다.
• 백본의 여러 층에서 특징을 활용하여 다양한 척도에서 표현 학습을 풍부하게 한다.
• 추론 중에 연속된 단계에서 예측된 히트맵은 점점 목표물에 집중되고 간섭물에서는 억제되며, 정확한 위치 결정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 점점 더 엄격한 감시를 적용하는 히트맵 헤드의 캐스케이드가 시앙 기반 추적에서 정확도와 강건성을 향상시킬 수 있는가?
• RQ2 앵커 없는 키포인트 예측 전략이 일반화 능력과 효율성 측면에서 앵커 기반 방법을 능가하는가?
• RQ3 느슨한 후보자에서 엄격한 중간 감시가 단계 간 객체 위치 정밀화를 효과적으로 이끌 수 있는가?
• RQ4 순수하게 오프라인으로 훈련된 시앙 모델이 온라인 업데이트 기반 추적기와 비교해 어느 정도의 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 가림, 배경 혼잡, 척도 변화와 같은 어려운 조건에서 어떻게 성능을 발휘하는가?

주요 결과

• SiamKPN-3s는 OTB-100에서 성공률 0.712, 정밀도 0.927를 기록하며, SiamRPN++보다 정밀도 점수에서 상대적으로 4.7% 향상되었다.
• VOT2018에서 SiamKPN-3s는 EAO 점수 0.440을 기록했으며, SiamRPN++를 뛰어넘고, 온라인 학습 기반 추적기인 ATOM을 능가했다.
• GOT-10k에서 SiamKPN-3s는 온라인 업데이트 없이도 최고의 SR_{0.75} (0.362) 와 AO (0.529) 를 기록했으며, SiamRPN++ 대비 각각 10%와 2.3% 상대적 향상률을 확보했다.
• 제거 분석 결과, 변동성 감소 전략은 고정된 변동성 대비 OTB-100에서 성공률 0.007 향상, 정밀도 0.011 향상으로 성능 향상을 확인했다.
• SiamKPN-3s는 VOT2018에서 24 FPS로 작동하여, 다단계 정밀화에도 불구하고 실시간 추론 능력을 입증했다.
• SiamKPN의 단일 단계 버전만으로도 SiamRPN++와 동일한 성능을 달성했으며, 강력한 기본 성능를 보여주었다.