[논문 리뷰] X-CLIP: End-to-End Multi-grained Contrastive Learning for Video-Text Retrieval

Yiwei Ma, Guohai Xu외 4명|arXiv (Cornell University)|2022. 07. 15.

Multimodal Machine Learning Applications인용 수 16

한 줄 요약

X-CLIP는 비디오-텍스트 검색을 위한 종단 간 다중 해상도 대비 학습 프레임워크를 제안하며, 거시적 및 미세적 표현 간의 교차 해상도 대비를 도입하여 관련이 없는 프레임과 단어를 걸러내는 데 기여한다. 유사도 집계를 위한 Attention Over Similarity Matrix (AOSM) 모듈을 통해 최신 기술 수준(SOTA) 성능을 달성하였으며, MSR-VTT 및 LSMDC를 포함한 다섯 가지 벤치마크에서 R@1이 +6.3%에서 +11.1% 향상되었다.

ABSTRACT

Video-text retrieval has been a crucial and fundamental task in multi-modal research. The development of video-text retrieval has been considerably promoted by large-scale multi-modal contrastive pre-training, which primarily focuses on coarse-grained or fine-grained contrast. However, cross-grained contrast, which is the contrast between coarse-grained representations and fine-grained representations, has rarely been explored in prior research. Compared with fine-grained or coarse-grained contrasts, cross-grained contrast calculate the correlation between coarse-grained features and each fine-grained feature, and is able to filter out the unnecessary fine-grained features guided by the coarse-grained feature during similarity calculation, thus improving the accuracy of retrieval. To this end, this paper presents a novel multi-grained contrastive model, namely X-CLIP, for video-text retrieval. However, another challenge lies in the similarity aggregation problem, which aims to aggregate fine-grained and cross-grained similarity matrices to instance-level similarity. To address this challenge, we propose the Attention Over Similarity Matrix (AOSM) module to make the model focus on the contrast between essential frames and words, thus lowering the impact of unnecessary frames and words on retrieval results. With multi-grained contrast and the proposed AOSM module, X-CLIP achieves outstanding performance on five widely-used video-text retrieval datasets, including MSR-VTT (49.3 R@1), MSVD (50.4 R@1), LSMDC (26.1 R@1), DiDeMo (47.8 R@1) and ActivityNet (46.2 R@1). It outperforms the previous state-of-theart by +6.3%, +6.6%, +11.1%, +6.7%, +3.8% relative improvements on these benchmarks, demonstrating the superiority of multi-grained contrast and AOSM.

연구 동기 및 목표

• 기존 비디오-텍스트 검색 모델이 거시적 또는 미세적 대비에만 집중하고 관련 없는 프레임과 단어를 효과적으로 걸러내지 못하는 한계를 해결하기 위해.
• 거시적 비디오/문장 특징와 개별적인 미세적 프레임/단어 특징를 비교하는 교차 해상도 대비를 탐색하여, 관련 없는 구성 요소를 억제함으로써 검색 정확도를 향상시키기 위해.
• 다양한 해상도에서 유도된 유사도 행렬(미세적, 거시적, 교차 해상도)을 하나의 인스턴스 수준 유사도 점수로 통합하는 유사도 집계 문제를 해결하기 위해.
• 소음이나 관련 없는 요소를 저감시키면서 핵심적인 프레임-단어 및 문장-비디오 상호작용을 강조하는 학습 가능한 메커니즘을 설계하기 위해.

제안 방법

• X-CLIP는 비디오 및 텍스트를 이중 스트림 트랜스포머 아키텍처를 사용하여 거시적(비디오/문장 수준) 및 미세적(프레임/단어 수준) 표현으로 인코딩하며, 비디오 모델링을 위한 시간적 인코더를 포함한다.
• 세 가지 유형의 대비 학습을 수행한다: 미세적(프레임-단어), 거시적(비디오-문장), 교차 해상도(비디오-단어 및 문장-프레임)로 다중 수준의 의미적 정렬을 포착한다.
• 유사도 행렬에 대한 주의를 부여하는 Attention Over Similarity Matrix (AOSM) 모듈은 다양한 해상도에서 유도된 유사도 행렬을 학습하여, 관련 있는 프레임-단어 및 문장-비디오 쌍을 동적으로 강조한다.
• AOSM 내 온도 조절 소프트맥스는 높은 및 낮은 유사도 점수의 영향을 균형 잡아, 소음이 지배하거나 중요한 신호가 간과되는 것을 방지한다.
• 모델는 모든 세 가지 대비 신호에 대해 대비 손실을 사용하여 종단 간으로 훈련되며, 시각적, 텍스트적, 교차 해상도 표현의 공동 최적화가 이루어진다.
• 비디오 스트림 내 시간적 인코더는 프레임 간의 순차적 의존성을 모델링하여, 다중 프레임 맥락이 필요한 동작을 이해하는 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 거시적 및 미세적 표현 간의 교차 해상도 대비가 관련 없는 프레임과 단어를 걸러내어 비디오-텍스트 검색 성능을 향상시킬 수 있는가?
• RQ2 다양한 해상도에서 유도된 다수의 유사도 행렬을 어떻게 효과적으로 하나의 강력한 인스턴스 수준 유사도 점수로 통합할 수 있는가?
• RQ3 제안된 AOSM 모듈이 기존의 평균-최댓값(Mean-Max)과 같은 집계 전략보다 소음이나 관련 없는 특징의 영향을 줄이는 데 뛰어난가?
• RQ4 다양한 비디오-텍스트 벤치마크에서 다중 해상도 대비 학습이 검색 성능 향상에 얼마나 기여하는가?

주요 결과

• X-CLIP는 MSR-VTT에서 R@1 49.3, MSVD에서 50.4, LSMDC에서 26.1, DiDeMo에서 47.8, ActivityNet에서 46.2를 기록하며 다섯 가지 비디오-텍스트 검색 벤치마크에서 최신 기술 수준 성능을 달성하였다.
• 이전 SOTA 방법 대비 MSR-VTT에서 R@1이 +6.3%, MSVD에서 +6.6%, LSMDC에서 +11.1%, DiDeMo에서 +6.7%, ActivityNet에서 +3.8% 향상되었다.
• 제거 실험 결과, 시간적 인코더가 성능 향상에 크게 기여하며, MSR-VTT에서 +1.0%에서 +1.2%의 R@1 향상이 관찰되었다.
• AOSM에서 최적의 온도 파rameter τ = 0.01이 가장 우수한 성능을 보였으며, τ = 0.1 및 τ = 1.0 대비 0.9–1.2% 향상되었다.
• 정성적 결과는 X-CLIP가 의미적으로 유사하지만 다른 비디오 및 문장 간을 효과적으로 구분함을 보여주었으며, 특히 복잡하거나 모호한 경우에서 뛰어난 성능을 발휘하였다.
• AOSM 모듈은 Mean-Max와 같은 기초 집계 전략보다 일관되게 뛰어난 성능을 보였으며, 관련 있는 프레임-단어 및 문장-비디오 쌍에 집중하는 데 효과적임을 입증하였다.