[논문 리뷰] Towards More Flexible and Accurate Object Tracking with Natural Language: Algorithms and Benchmark

Xiao Wang, Xiujun Shu외 5명|arXiv (Cornell University)|2021. 03. 31.

Video Surveillance and Tracking Methods참고 문헌 76인용 수 16

한 줄 요약

이 논문은 자연어 지도에 기반한 객체 추적을 위한 대규모 벤치마크인 TNL2K를 소개한다. TNL2K는 2,000개의 영상 시퀀스를 포함하며, 각각 밀도 높은 언어 기술과 경계 상자(annotation)가 제공된다. 본 논문은 시각적, 언어적, 이력 정보를 통합하는 적응형 국소-전역 탐색 알고리즘(AdaSwitcher)을 제안하였으며, 이는 TNL2K 벤치마크에서 최신 기술 수준의 성능을 달성하였고, 공동 BBox 및 언어 추적 설정 하에서 성공률 0.370, 정밀도 0.355를 기록하였다.

ABSTRACT

Tracking by natural language specification is a new rising research topic that aims at locating the target object in the video sequence based on its language description. Compared with traditional bounding box (BBox) based tracking, this setting guides object tracking with high-level semantic information, addresses the ambiguity of BBox, and links local and global search organically together. Those benefits may bring more flexible, robust and accurate tracking performance in practical scenarios. However, existing natural language initialized trackers are developed and compared on benchmark datasets proposed for tracking-by-BBox, which can't reflect the true power of tracking-by-language. In this work, we propose a new benchmark specifically dedicated to the tracking-by-language, including a large scale dataset, strong and diverse baseline methods. Specifically, we collect 2k video sequences (contains a total of 1,244,340 frames, 663 words) and split 1300/700 for the train/testing respectively. We densely annotate one sentence in English and corresponding bounding boxes of the target object for each video. We also introduce two new challenges into TNL2K for the object tracking task, i.e., adversarial samples and modality switch. A strong baseline method based on an adaptive local-global-search scheme is proposed for future works to compare. We believe this benchmark will greatly boost related researches on natural language guided tracking.

연구 동기 및 목표

• 기존 BBox 기반 객체 추적의 한계, 즉 초기화의 모호성과 외관 변화에 대한 취약성을 해결하기 위해.
• 객체 초기화에 경계 상자 대신 자연어 기술을 활용하여 더 유연하고 정확한 추적을 가능하게 하기 위해.
• 언어 기반 추적을 위한 전용 벤치마크를 구축하기 위해. 기존의 벤치마크는 언어 지도 추적 성능 평가에 부적합하기 때문이다.
• 시각적, 언어적, 이력 정보를 활용한 국소 및 전역 탐색 전략을 통합한 강력하고 유연한 기반 모델을 제공하기 위해.
• 악성 샘플, 모달리티 전환(RGB/열화상), 외관 변화와 같은 도전적인 조건에서의 추적 성능에 대한 탄력성 평가를 위해.

제안 방법

• 2,000개의 영상 시퀀스(학습용 1,300개, 테스트용 700개)를 포함하는 새로운 벤치마크인 TNL2K를 제안하며, 각 영상에 대해 영어 문장 하나와 목표 객체에 대한 밀도 높은 경계 상자 애너테이션을 제공한다.
• 신뢰도 점수와 시각적 기반 품질에 따라 국소 탐색과 전역 탐색 간에 동적으로 전환하는 적응형 국소-전역 탐색 메커니즘(AdaSwitcher)을 설계한다.
• 다양한 입력 모odal리티를 통합한다: 특징 맵에서 유도된 시각적 특징, 언어 임베딩, 예측된 경계 상자, 이상 탐지용 잔여 이미지.
• AdaSwitcher에서 프레임 수준의 어텐션을 적용하여 추적 시퀀스 내 각 프레임의 중요도를 가중치를 두어, 외관 변화에 대한 탄력성을 향상시킨다.
• 시각적 기반에서 공간 좌표를 핵심 구성 요소로 활용함으로써 추적 정확도를 크게 향상시켰으며, 이는 추이 분석 실험을 통해 입증되었다.
• 반응 점수에 기반해 국소 탐색 모드와 전역 탐색 모드 간 전환 여부를 결정하는 임계값 기반 전환 메커니즘을 적용하였으며, 최적의 설정은 0.7로 확인되었다.

실험 결과

연구 질문

• RQ1 기존 BBox 초기화 방식에 비해 자연어 기술이 추적 정확도와 탄력성 향상에 기여하는가?
• RQ2 언어적 특징과 시각적 특징의 통합이 외관 변화 및 가림 상황에 대한 탄력성 향상에 어떤 영향을 미치는가?
• RQ3 공간 좌표와 이력 정보는 시각적 기반 및 추적 성능에 어떤 영향을 미치는가?
• RQ4 악성 샘플과 모달리티 전환 상황에서 언어 지도 추적 설정의 성능에 어떤 영향을 미치는가?
• RQ5 언어 지도 추적을 위한 적응형 국소-전역 탐색 메커니즘의 최적 구성은 무엇인가?

주요 결과

• AdaSwitcher 기반 모델은 공동 BBox 및 언어 추적 설정 하에서 성공률 0.370, 정밀도 0.355를 기록하였으며, BBox 또는 언어만을 사용하는 기존 방법보다 뛰어난 성능을 보였다.
• 시각적 기반에 공간 좌표를 포함시킴으로써 성공률는 0.344에서 0.353으로, 정밀도는 0.355에서 0.362로 향상되었으며, 이는 공간 좌표의 결정적 역할을 입증한다.
• 예측된 경계 상자 또는 잔여 이미지 특징을 제거할 경우 성능이 0.01~0.015 감소하여, 실패 탐지 및 안정성 확보에 이 기능들이 중요한 역할을 한다는 것을 시사한다.
• AdaSwitcher의 최적 전환 임계값은 0.7이며, 이는 성공률 0.370과 정밀도 0.355를 기록하는 데 가장 높은 성능을 보였다.
• 악성 샘플 및 완전한 가림과 같은 도전적인 속성에 대해 SiamRCNN가 가장 뛰어난 성능을 보였으며, 공격에 대응하도록 설계된 RTAA는 악성 샘플 상황에서 성능이 떨어져 이상 탐지의 중요성을 확인시켰다.
• 추이 분석 결과, BBox, 점수, ResImg, ResMap, 언어 특징 등 모든 구성 요소가 추적의 탄력성 향상에 기여하며, 전체 모델이 가장 높은 성능을 기록함을 확인하였다.