[논문 리뷰] Cap4Video: What Can Auxiliary Captions Do for Text-Video Retrieval?

Wenhao Wu, Haipeng Luo외 3명|arXiv (Cornell University)|2022. 12. 31.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

Cap4Video는 CLIP와 GPT-2를 사용하여 zero-shot로 생성된 영상 캡션을 활용하여 텍스트-영상 검색 성능을 향상시키는 새로운 프레임워크를 제안한다. 입력 데이터 증강, 중간 단계의 영상-캡션 특징 상호작용, 출력 점수 융합을 통해 성능을 향상시켜, 후처리 없이도 네 가지 벤치마크에서 최신 기술 수준의 성능을 달성한다: MSR-VTT (51.4%), VATEX (66.6%), MSVD (51.8%), DiDeMo (52.0%).

ABSTRACT

Most existing text-video retrieval methods focus on cross-modal matching between the visual content of videos and textual query sentences. However, in real-world scenarios, online videos are often accompanied by relevant text information such as titles, tags, and even subtitles, which can be utilized to match textual queries. This insight has motivated us to propose a novel approach to text-video retrieval, where we directly generate associated captions from videos using zero-shot video captioning with knowledge from web-scale pre-trained models (e.g., CLIP and GPT-2). Given the generated captions, a natural question arises: what benefits do they bring to text-video retrieval? To answer this, we introduce Cap4Video, a new framework that leverages captions in three ways: i) Input data: video-caption pairs can augment the training data. ii) Intermediate feature interaction: we perform cross-modal feature interaction between the video and caption to produce enhanced video representations. iii) Output score: the Query-Caption matching branch can complement the original Query-Video matching branch for text-video retrieval. We conduct comprehensive ablation studies to demonstrate the effectiveness of our approach. Without any post-processing, Cap4Video achieves state-of-the-art performance on four standard text-video retrieval benchmarks: MSR-VTT (51.4%), VATEX (66.6%), MSVD (51.8%), and DiDeMo (52.0%). The code is available at https://github.com/whwu95/Cap4Video .

연구 동기 및 목표

• 영상에서 유도된 보조 캡션을 사용하여 텍스트-영상 검색 성능 향상 여부를 조사하는 것.
• 사전 학습된 모델(CLIPL과 GPT-2)을 활용한 zero-shot 영상 캡션 생성이 보조 지도 학습의 원천으로서 기여하는 방식을 탐색하는 것.
• 다양한 단계에서 생성된 캡션을 효과적으로 통합하는 통합 프레임워크를 설계하는 것.
• 캡션 기반 개선이 전역 및 세분화된 매칭 메커니즘 양쪽 모두와 호환되는지 입증하는 것.
• 후처리 없이 표준 텍스트-영상 검색 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• CLIP와 GPT-2 기반의 zero-shot 영상 캡셔너를 사용하여 어떤 미세조정 없이도 영상 프레임에서 캡션을 생성한다.
• 쿼리-영상 쌍 외에도 쿼리-캡션 쌍을 추가적인 양성 샘플로 간주하여 훈련 데이터를 증강한다.
• 영상과 캡션 표현 간의 중간 단계 다중모달 특징 상호작용을 도입하여 영상 특징을 정교화하고 중복을 줄인다.
• 쿼리-영상 및 쿼리-캡션 매칭 점수를 별도로 계산하는 이중 스트림 아키텍처를 활용하여 최종 검색을 위해 점수를 융합한다.
• 캡션 임베딩을 평균 풀링을 통해 융합하여 전역 캡션 표현을 형성하고 텍스트 쿼리와 매칭한다.
• 쿼리-영상 및 쿼리-캡션 매칭 브랜치의 출력 점수를 융합하여 전체 검색의 견고성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 영상에서 zero-shot로 생성된 캡션은 텍스트-영상 검색 성능 향상에 기여하는가?
• RQ2 중간 단계의 특징 상호작용에 사용될 때 생성된 캡션은 영상 표현 학습에 어떻게 기여하는가?
• RQ3 쿼리-캡션 매칭을 보완적인 브랜치로 통합하면 쿼리-영상 매칭을 넘어서 성능 향상이 이루어지는가?
• RQ4 캡션 통합이 다양한 검색 벤치마크에서 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 프레임워크는 텍스트-영상 검색에서 전역 및 세분화된 매칭 메커니즘 양쪽 모두를 향상시킬 수 있는가?

주요 결과

• Cap4Video는 MSR-VTT에서 R@1 51.4%를 기록하여 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.
• VATEX에서는 R@1 66.6%를 기록하여 기존 접근 방식에 비해 뚜렷한 향상을 보였다.
• MSVD에서는 R@1 51.8%, DiDeMo에서는 R@1 52.0%를 기록하여 다양한 벤치마크에서 일관된 성능 향상을 입증했다.
• 쿼리-캡션 매칭 브랜치만으로도 R@1 30.3%를 기록하여 이전의 쿼리-영상 방법인 ClipBERT(22.0%)와 MMT(26.6%)를 초월했다.
• 쿼리-캡션 및 쿼리-영상 매칭 점수 융합으로 성능이 +0.8% 향상되어 두 브랜치가 상호보완적임을 확인했다.
• 제거 실험 결과, 데이터 증강, 특징 상호작용, 점수 융합의 세 구성 요소 모두가 성능 향상에 기여하며, 총 +2.8%에서 +3.6%의 향상 효과를 보였다.