[논문 리뷰] Siamese Natural Language Tracker: Tracking by Natural Language Descriptions with Siamese Trackers

Qi Feng, Vitaly Ablavsky외 2명|arXiv (Cornell University)|2019. 12. 04.

Video Surveillance and Tracking Methods참고 문헌 52인용 수 5

한 줄 요약

이 논문은 시アン세 시각 추적기와 자연어 기술을 융합하기 위해 시안세 자연어 영역 제안 네트워크(SNL-RPN)와 동적 모odal리티 융합을 사용하는 새로운 프레임워크인 시안세 자연어 추적기(SNLT)를 제안한다. 시각-언어 정렬과 엔트로피 기반 가중치를 활용하여 SNLT는 LaSOT에서 기존 시안세 추적기보다 3–7%p 향상시키며, 모든 이전 자연어 기반 추적기보다 뛰어나면서도 단일 GPU에서 50 FPS로 실행된다.

ABSTRACT

We propose a novel Siamese Natural Language Tracker (SNLT), which brings the advancements in visual tracking to the tracking by natural language (NL) descriptions task. The proposed SNLT is applicable to a wide range of Siamese trackers, providing a new class of baselines for the tracking by NL task and promising future improvements from the advancements of Siamese trackers. The carefully designed architecture of the Siamese Natural Language Region Proposal Network (SNL-RPN), together with the Dynamic Aggregation of vision and language modalities, is introduced to perform the tracking by NL task. Empirical results over tracking benchmarks with NL annotations show that the proposed SNLT improves Siamese trackers by 3 to 7 percentage points with a slight tradeoff of speed. The proposed SNLT outperforms all NL trackers to-date and is competitive among state-of-the-art real-time trackers on LaSOT benchmarks while running at 50 frames per second on a single GPU.

연구 동기 및 목표

• 시안세 추적기의 발전을 활용하여 시각 추적과 자연어 기반 기술 간 격차를 메우기 위해.
• 고립된 자연어 전용 모델에 의존하지 않고 자연어 기반 추적 성능을 향상시키는 과제를 해결하기 위해.
• 시각과 언어 모달리티를 통합하는 일반화 가능하고 실시간 동작이 가능한 프레임워크를 개발하기 위해.
• 시안세 추적 아키텍처의 지속적 발전을 통해 향후 자연어 기반 추적 성능 향상을 가능하게 하기 위해.
• SNLT가 기존 자연어 추적기보다 뛰어나고 최신 실시간 시각 추적기 수준에 도달함을 보여주기 위해.

제안 방법

• 시안세 추적기와 공유된 특징 추출을 수행하고 자연어 임베딩을 컨볼루션 커널로 사용하는 시안세 자연어 영역 제안 네트워크(SNL-RPN)를 제안한다.
• 예측 엔트로피를 기반으로 시각 및 언어 브랜치의 예측을 융합하는 동적 집계 모듈을 도입하여 정확도를 향상시킨다.
• 시각 및 언어 브랜치 모두에 공통된 백본(예: SiamRPN++)을 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 템플릿 및 검색 특징 간의 교차상관관계 또는 깊이 분리형 교차상관관계를 사용하며, 자연어 임베딩을 학습 가능한 커널로 통합한다.
• 식 (4)에서 엔트로피 기반 가중치를 적용하여 불확실성이 낮은 모달리티에 더 높은 신뢰도를 할당한다.
• 공유된 특징을 사용해 SNL-RPN을 학습하고, 자연어 애너테이션 데이터셋에 대해 언어 인코더(예: BERT, HGLMM)를 미세조정한다.

실험 결과

연구 질문

• RQ1 실시간 성능을 유지하면서도 시안세 시각 추적기의 성능을 자연어 기반 기술에 대응할 수 있도록 향상시킬 수 있는가?
• RQ2 모호하거나 가림 상황에서 추적 정확도를 향상시키기 위해 시각과 언어 모달리티를 어떻게 동적으로 융합할 수 있는가?
• RQ3 시안세 추적의 발전이 자연어 기반 추적 작업으로 얼마나 잘 전이될 수 있는가?
• RQ4 시안세 아키텍처에 자연어 임베딩을 커널로 사용할 경우, 다양한 추적 벤치마크에서 일관된 성능 향상이 이루어지는가?
• RQ5 모달리티 불확실성(엔트로피로 측정)과 추적 정확도 간의 상관관계는 어떻게 되며, 이를 최적의 융합에 안내할 수 있는가?

주요 결과

• SNLT는 LaSOT 벤치마크에서 기준 시안세 추적기(SiamFC, SiamRPN, SiamRPN++)의 정밀도를 3–7%p 향상시켰다.
• SNLT는 Feng [14]와 Li [26]를 포함한 모든 이전 자연어 추적기보다 LaSOT 테스트 세트에서 뛰어난 성능을 보였다.
• SNLT는 단일 NVIDIA 2080 Ti GPU에서 50 프레임 이상의 추론 속도를 확보하여 실시간 응용에 적합하다.
• 엔트로피 기반 가중치를 사용하는 동적 집계 모듈은 특히 가림 또는 외관이 낮은 상황에서 정확도 향상에 기여한다.
• 문장 임베딩에 HGLMM를 사용할 경우 GloVe 기반 모델보다 더 뛰어난 성능을 보여, 시각 특화 사전학습의 이점이 있음을 시사한다.
• 제거 실험 결과, SNLT는 기준 SiamRPN++보다 더 풍부한 의미적 이해 능력을 학습하고 있음을 입증했다.