[논문 리뷰] CLIP2TV: An Empirical Study on Transformer-based Methods for Video-Text Retrieval

Zijian Gao, Jingyu Liu외 4명|arXiv (Cornell University)|2021. 11. 10.

Multimodal Machine Learning Applications참고 문헌 18인용 수 28

한 줄 요약

CLIP2TV는 교차 모odal 정렬을 향상시키기 위해 개선된 비디오 및 텍스트 인코더와 정교화된 유사도 헤드를 통해 트랜스포머 기반의 비디오-텍스트 검색 프레임워크를 제안하며, MSR-VTT에서 52.9@R1을 달성하여 이전 SOTA 대비 4.1% 향상된 성능을 보였다.

ABSTRACT

Modern video-text retrieval frameworks basically consist of three parts: video encoder, text encoder and the similarity head. With the success on both visual and textual representation learning, transformer based encoders and fusion methods have also been adopted in the field of video-text retrieval. In this report, we present CLIP2TV, aiming at exploring where the critical elements lie in transformer based methods. To achieve this, We first revisit some recent works on multi-modal learning, then introduce some techniques into video-text retrieval, finally evaluate them through extensive experiments in different configurations. Notably, CLIP2TV achieves 52.9@R1 on MSR-VTT dataset, outperforming the previous SOTA result by 4.1%.

연구 동기 및 목표

• 트랜스포머 기반의 비디오-텍스트 검색 방법에서 핵심 구성 요소를 조사한다.
• 최근의 다중 모odal 학습 기법이 비디오-텍스트 검색에 어떻게 적용되는지 평가한다.
• 정교화된 비디오 및 텍스트 인코더 및 유사도 헤드 설계를 통해 검색 성능을 향상시킨다.
• MSR-VTT 벤치마크에서 새로운 최고 성능을 확립한다.

제안 방법

• 최근의 다중 모adal 학습 기술 발전을 재검토하여 비디오-텍스트 검색을 위한 설계 결정을 유도한다.
• 표현 학습을 향상시키기 위해 비디오 및 텍스트 모odal 모두에 트랜스포머 기반 인코더를 채택한다.
• 교차 모달 정렬을 향상시키기 위해 정교화된 융합 및 유사도 헤드 구성 요소를 도입한다.
• 구성 요소 기여도를 검증하기 위해 다양한 설정에서 광범위한 추론 분석(studies)을 실시한다.
• 표준 검색 메트릭을 사용하여 MSR-VTT 데이터셋에서 모델을 종단 간(end-to-end)으로 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반의 비디오-텍스트 검색에서 성능 향상을 이끄는 핵심 구성 요소는 무엇인가?
• RQ2 최근의 다중 모달 학습 기법은 비디오-텍스트 검색에 어떻게 적용될 수 있는가?
• RQ3 유사도 헤드 및 인코더 아키텍처를 정교화함으로써 달성할 수 있는 향상은 무엇인가?
• RQ4 제안된 방법은 표준 벤치마크에서 기존 SOTA 접근 방식과 비교해 어떻게 성능을 냈는가?

주요 결과

• CLIP2TV는 MSR-VTT 데이터셋에서 52.9@R1을 달성하여 새로운 최고 성능을 수립했다.
• 이전 SOTA 대비 4.1% 향상된 성능은 제안된 방법의 효과성을 입증한다.
• 추론 분석 결과, 정교화된 인코더 및 유사도 헤드 구성 요소의 중요성이 확인되었다.
• 다양한 실험 설정에서 프레임워크는 일관된 성능 향상을 보였다.