[논문 리뷰] Contrastive Learning of Semantic and Visual Representations for Text Tracking

Zhuang Li, Weijia Wu외 5명|arXiv (Cornell University)|2021. 12. 30.

Video Analysis and Summarization인용 수 4

한 줄 요약

이 논문은 대비 학습을 통해 시각적 표현과 의미적 표현을 동시에 학습함으로써 텍스트 추적의 강건성을 향상시키는 엔드 투 엔드 비디오 텍스트 추적기인 SVRep을 제안한다. 비디오 프레임 간의 시각적 외관과 의미적 맥락을 모두 활용함으로써, ICDAR2015(video)에서 16.7 FPS 속도로 65.9%의 mID-F1을 달성하여 기존 방법들보다 8.6% 높은 최신 기술 수준(SOTA) 성능을 확보한다.

ABSTRACT

Semantic representation is of great benefit to the video text tracking(VTT) task that requires simultaneously classifying, detecting, and tracking texts in the video. Most existing approaches tackle this task by appearance similarity in continuous frames, while ignoring the abundant semantic features. In this paper, we explore to robustly track video text with contrastive learning of semantic and visual representations. Correspondingly, we present an end-to-end video text tracker with Semantic and Visual Representations(SVRep), which detects and tracks texts by exploiting the visual and semantic relationships between different texts in a video sequence. Besides, with a light-weight architecture, SVRep achieves state-of-the-art performance while maintaining competitive inference speed. Specifically, with a backbone of ResNet-18, SVRep achieves an ${ m ID_{F1}}$ of $ extbf{65.9\%}$, running at $ extbf{16.7}$ FPS, on the ICDAR2015(video) dataset with $ extbf{8.6\%}$ improvement than the previous state-of-the-art methods.

연구 동기 및 목표

• 기존의 비디오 텍스트 추적 방법들이 외관 유사성에 크게 의존하면서 풍부한 의미적 특징을 忽시하는 한계를 해결한다.
• 의미적 표현과 시각적 표현을 통합함으로써 비디오 텍스트 추적의 강건성을 향상시킨다.
• 정확도를 희생시키지 않고도 고속 추론 성능을 유지하는 엔드 투 엔드 경량 아키텍처를 개발한다.
• 다양한 비디오 텍스트 추적 시나리오에 대한 일반화 능력을 향상시키기 위해 다중 모odal 표현의 대비 학습을 수행한다.

제안 방법

• 비디오 프레임 간 텍스트 인스턴스의 의미적 표현과 시각적 표현을 대비 학습을 통해 정렬한다.
• 시각적 특징을 추출하기 위해 ResNet-18 백본을 사용하고, 의미적 임bedding을 생성하기 위해 텍스트 인코더를 활용한다.
• 검출된 텍스트 간의 시간적 및 의미적 관계를 바탕으로 양성 및 음성 쌍을 구성한다.
• 양성 쌍 간의 일치를 극대화하고 음성 쌍 간의 일치를 최소화하기 위해 대비 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 통합된 프레임워크 내에서 시각적 표현과 의미적 표현을 융합하여 공동 검출 및 추적을 수행한다.
• 경량 설계를 통해 정확도와 추론 속도를 최적화하여 실시간 성능을 달성한다.

실험 결과

연구 질문

• RQ1 외관 중심의 방법에 비해 의미적 표현과 시각적 표현을 함께 학습하는 것이 비디오 텍스트 추적 성능을 향상시키는가?
• RQ2 비디오 내 텍스트 추적에 있어서 의미적 표현과 시각적 표현을 정렬하는 데에 대비 학습이 얼마나 효과적인가?
• RQ3 최신 기술 수준의 정확도를 달성하면서도 높은 추론 속도를 유지하는 데에 제안된 방법이 얼마나 기여하는가?
• RQ4 의미적 맥락의 통합이 도전적인 비디오 시퀀스에서 추적 강건성을 얼마나 향상시키는가?

주요 결과

• SVRep은 ICDAR2015(video) 데이터셋에서 최신 기술 수준의 mID-F1 점수 65.9%를 달성한다.
• 기존 최신 기술 수준 대비 mID-F1에서 8.6% 향상되어 뚜렷한 성능 향상을 입증한다.
• ResNet-18 백본을 사용함으로써 SVRep은 16.7 FPS로 실행되어 강력한 실시간 추론 능력을 보인다.
• 의미적 표현과 시각적 표현의 대비 학습이 외관 중심 기반 모델에 비해 추적 강건성을 크게 향상시킨다.
• 경량 아키텍처 덕분에 정확도를 희생시키지 않고도 경쟁적인 속도를 확보하여 실생활 적용에 적합하다.