[논문 리뷰] Siamese Tracking with Lingual Object Constraints

Maximilian Filtenborg, Efstratios Gavves외 1명|arXiv (Cornell University)|2020. 11. 23.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 4

한 줄 요약

이 논문은 비디오에서 목표 물체를 필터링하고 국소화하기 위해 자연어 제약 조건(예: '노란 차 근처')을 통합하는 새로운 시각 추적 프레임워크를 소개한다. SiamRPN++에 시각-언어 어텐션 메커니즘과 피라미드 풀링 모듈을 적용하여 개발된 SiamCT-CA 모델은 c-MOT16 및 c-LaSOT라는 두 가지 새로운 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 제약 조건의 타당성에 기반한 선택적 비디오 압축을 가능하게 한다.

ABSTRACT

Classically, visual object tracking involves following a target object throughout a given video, and it provides us the motion trajectory of the object. However, for many practical applications, this output is often insufficient since additional semantic information is required to act on the video material. Example applications of this are surveillance and target-specific video summarization, where the target needs to be monitored with respect to certain predefined constraints, e.g., 'when standing near a yellow car'. This paper explores, tracking visual objects subjected to additional lingual constraints. Differently from Li et al., we impose additional lingual constraints upon tracking, which enables new applications of tracking. Whereas in their work the goal is to improve and extend upon tracking itself. To perform benchmarks and experiments, we contribute two datasets: c-MOT16 and c-LaSOT, curated through appending additional constraints to the frames of the original LaSOT and MOT16 datasets. We also experiment with two deep models SiamCT-DFG and SiamCT-CA, obtained through extending a recent state-of-the-art Siamese tracking method and adding modules inspired from the fields of natural language processing and visual question answering. Through experimental results, we show that the proposed model SiamCT-CA can significantly outperform its counterparts. Furthermore, our method enables the selective compression of videos, based on the validity of the constraint.

연구 동기 및 목표

• 기존의 시각 추적 기술이 의미적 맥락 없이 운동 궤적만 제공하는 한계를 보완하기 위해 사용자가 정의한 자연어 제약 조건을 통합한다.
• 추적 시스템이 목표가 특정 언어 조건(예: 특정 물체 근처 또는 행동 수행)을 만족하는 프레임을 선택적으로 식별할 수 있도록 한다.
• LaSOT 및 MOT16을 자연어 애너테이션으로 확장하여 제약 조건 기반 추적을 위한 새로운 벤치마크 프레임워크를 개발한다.
• 시각적 외관과 언어적 묘사를 동시에 고려하는 딥 러닝 모델을 설계하고 평가하여 제약 조건 하에서의 추적 성능을 향상시킨다.
• 제약 조건 인식 추적 기술이 감시 및 비디오 요약과 같은 애플리케이션, 특히 의미 기반 선택적 비디오 압축에 실용적으로 적용될 수 있음을 입증한다.

제안 방법

• 시각 질문 응답(VQA)에서 영감을 받은 멀티헤드 자기어텐션 메커니즘을 SiamRPN++ 아키텍처에 적용하여 이미지 및 텍스트 모odal 간의 공동 추론을 가능하게 한다.
• SiamCT-CA 모델을 도입하여 언어 제약 조건과 시각적 특징 간의 교차 어텐션을 위해 MCAN 아키텍처를 활용함으로써 언어와 시각 콘텐츠 간의 정렬을 향상시킨다.
• 다양한 스케일의 시각적 특징을 통합하기 위해 피라미드 풀링 모듈(PPM)을 통합하여 제약 조건이 있는 추적에서 스케일 변화에 대한 강건성을 향상시킨다.
• 템플릿(초기 목표 프레임)과 검색 영역(현재 프레임)에서 특징을 추출하기 위해 듀얼 브랜치 시앙세이 네트워크를 사용한 후 상관 기반 국소화를 수행한다.
• 학습 가능한 어텐션 메커니즘을 활용해 제약 조건 내 관련 단어와 이미지 내 해당 시각 영역에 동적으로 주의를 기울이며, 맥락 인식 추적을 가능하게 한다.
• 추적 정확도와 제약 조건 이행을 동시에 최적화하기 위해 국소화 손실과 제약 조건 기반 손실을 조합하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 목표의 환경나 행동을 묘사하는 자연어 제약 조건을 통합함으로써 시각 추적 성능를 향상시킬 수 있는가?
• RQ2 시각-언어 어텐션 메커니즘이 복잡한 언어 조건 하에서 추적 정확도와 강건성을 어떻게 향상시키는가?
• RQ3 피라미드 풀링 모듈이 제약 조건 하에서 다중 스케일 및 장기 추적에서 성능 향상에 얼마나 기여하는가?
• RQ4 제약 조건 인식 추적 기술이 의미 기반 기준에 따라 선택적 비디오 압축이나 요약과 같은 실용적 응용 분야에 기여할 수 있는가?
• RQ5 다양한 어텐션 메커니즘(예: 자기어텐션 대비 자기가이드드 어텐션)은 언어 묘사에 따라 목표를 국소화하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• SiamCT-CA 모델은 c-MOT16 및 c-LaSOT 데이터셋에서 SiamCT-DFG 및 SiamCT-CA+PPM보다 유의미하게 높은 평균 정밀도와 AUC 점수를 기록하며 최고 성능를 달성한다.
• McNemar의 검정을 통해 SiamCT-CA와 그 변종 간의 성능 차이가 통계적으로 유의미하며, 대부분의 비교에서 p-값 < 1e-99임을 확인하였다.
• 특정 단어인 'car'와 'hand'에 대해 뛰어난 성능를 보이며, SiamCT-CA+PPM은 'hand'에 대해 AP에서 두드러진 향상을 기록하였다(기타 단어보다 더 큰 향상).
• 어텐션 맵 분석 결과, SiamCT-CA는 주로 'car'와 같은 핵심 제약 조건 단어에 주목하는 반면, SiamCT-CA+PPM은 'black'과 같은 수식어까지 포함해 더 넓게 어텐션을 분포시킨다.
• 제거 실험을 통해 어텐션 메커니즘과 피라미드 풀링 모듈이 높은 성능을 내기 위해 필수적임을 입증하였으며, PPM이 다양한 스케일 간 특징 통합을 향상시킨다.
• 프레임이 언어 제약 조건을 만족하는 경우에만 필터링하여 효과적인 선택적 비디오 압축을 가능하게 하여, 실생활 응용 분야에서 실용적 유용성을 입증하였다.