[논문 리뷰] CLIP2TV: Align, Match and Distill for Video-Text Retrieval

Zijian Gao, Jingyu Liu외 4명|arXiv (Cornell University)|2021. 11. 10.

Multimodal Machine Learning Applications인용 수 15

한 줄 요약

CLIP2TV는 종합적으로 영상-텍스트 정렬 및 매칭 모듈을 엔드 투 엔드 방식으로 최적화하는 CLIP 기반 프레임워크를 제안하며, 데이터 노이즈—특히 모호한 기술—를 줄이기 위해 유사도 디스틸레이션을 통해 성능을 향상시킨다. 이로 인해 MSR-VTT, DiDeMo, ActivityNet 데이터셋에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

Modern video-text retrieval frameworks basically consist of three parts: video encoder, text encoder and the similarity head. With the success on both visual and textual representation learning, transformer based encoders and fusion methods have also been adopted in the field of video-text retrieval. In this report, we present CLIP2TV, aiming at exploring where the critical elements lie in transformer based methods. To achieve this, We first revisit some recent works on multi-modal learning, then introduce some techniques into video-text retrieval, finally evaluate them through extensive experiments in different configurations. Notably, CLIP2TV achieves 52.9@R1 on MSR-VTT dataset, outperforming the previous SOTA result by 4.1%.

연구 동기 및 목표

• 영상-텍스트 정렬 및 매칭 모듈을 통합적이고 엔드 투 엔드 방식으로 공동 학습하여 영상-텍스트 검색 성능을 향상시키는 것.
• 대조 학습에 악영향을 주는 영상-텍스트 데이터셋 내의 데이터 노이즈—특히 모호한 기술, 철자 오류, 잘못된 기술—를 다루는 것.
• 내모odal(내부 모달) 및 이중모달(이중 모달) 유사도에서 유도된 소프트 레이블을 사용하여 영상-텍스트 매칭 모듈의 강건성을 향상시키는 유사도 디스틸레이션 메커니즘을 개발하는 것.
• 효율적인 추론을 유지하면서도 표준 영상-텍스트 검색 벤치마크에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하는 것.

제안 방법

• CLIP2TV는 두 가지 주요 구성 요소로 이루어져 있다: 영상 및 텍스트 임베딩을 공유 공간으로 투영하는 영상-텍스트 정렬(vta) 모듈과 긍정 쌍과 부정 쌍을 구분하도록 학습하는 영상-텍스트 매칭(vtm) 모듈.
• vta 및 vtm 모듈은 엔드 투 엔드로 학습되며, vtm 모듈의 기울기가 vta 모듈이 학습한 정렬을 개선함으로써 상호 보완적인 성능 향상을 이룬다.
• 데이터 노이즈의 영향을 줄이기 위해 유사도 디스틸레이션을 도입한다: 내모달(텍스트-텍스트 및 영상-영상) 및 통합 모달 유사도에서 유도된 소프트 레이블이 vtm 모듈을 지도로 사용한다.
• 세 가지 유사도 디스틸레이션 변형을 평가한다: 이중모달, 내모달, 통합모달 유사도이며, 통합 변형이 가장 높은 성능 향상을 보였다.
• 최종 모델은 일반 vtm과 소프트-vtm 출력의 가중 조합을 사용하며, 성능 균형을 맞추기 위해 하이퍼파ram터 β를 데이터셋에 따라 조정한다.
• 이 프레임워크는 추론에 매우 효율적이며, 공유 임베딩 공간 내에서 최근접 이웃 검색에 의존하므로, 기존 CLIP 기반 모델과의 통합이 간편하고 상호 보완적이다.

실험 결과

연구 질문

• RQ1 영상-텍스트 정렬 및 매칭 모듈의 엔드 투 엔드 학습이 검색 성능을 종합적으로 향상시킬 수 있는가?
• RQ2 특히 모호한 기술이 포함된 데이터 노이즈는 영상-텍스트 매칭 헤드의 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ3 내모달 및 이중모달 유사도를 사용한 유사도 디스틸레이션은 노이즈가 많은 데이터에 대한 매칭 모듈의 강건성을 향상시킬 수 있는가?
• RQ4 다양한 유사도 공간에서 유도된 소프트 레이블을 조합하면 MSR-VTT 및 DiDeMo와 같은 노이즈가 많은 벤치마크에서 더 나은 일반화 성능을 달성할 수 있는가?

주요 결과

• MSR-VTT 1kA에서 CLIP2TV는 R@1이 45.6, R@5가 71.1, R@10이 80.8을 기록하며, CLIP4Clip 베이스라인을 능가한다.
• 유사도 디스틸레이션(CLIP2TV+SD)를 적용한 모델은 MSR-VTT 1kA에서 R@1이 46.1로 향상되어, 모호하거나 철자 오류가 많은 쿼리에 대한 강건성을 입증한다.
• DiDeMo에서 CLIP2TV+SD는 R@1이 45.5, R@5가 69.7을 기록하며, 일반 vtm 및 CLIP4Clip보다 뚜렷한 성능 향상을 보였다.
• ActivityNet에서 CLIP2TV+SD는 R@50가 98.4를 기록하여, 긴 尾 꼬리 및 복잡한 쿼리에 대한 강력한 성능을 보였다.
• 통합 유사도 디스틸레이션 변형이 가장 뛰어난 성능을 보였으며, MSR-VTT 1kA에서 R@10이 82.9로 내모달 및 이중모달 변형을 모두 초월했다.
• 시각화 결과는 CLIP2TV+SD가 노이즈가 많은 쿼리에 더 강건하며, 모호하거나 철자 오류가 있는 기술에 대해 더 정확한 결과를 검색함을 확인했다.