[논문 리뷰] VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding

Hu Xu, Gargi Ghosh외 6명|arXiv (Cornell University)|2021. 09. 28.

Multimodal Machine Learning Applications참고 문헌 59인용 수 5

한 줄 요약

VideoCLIP은 시간적으로 겹치는 비디오-텍스트 클립과 검색 기반의 어려운 음성 샘플링을 활용하여 제로샷 비디오-텍스트 이해를 위한 대비 학습 방법을 제안한다. 이는 다수의 비디오-텍스트 작업에서 최신 기술 수준의 제로샷 성능을 달성하며, 하류 레이블을 사용하지 않고도 이전의 제로샷 방법과 일부 완전히 지도 학습된 방법을 능가한다.

ABSTRACT

We present VideoCLIP, a contrastive approach to pre-train a unified model for zero-shot video and text understanding, without using any labels on downstream tasks. VideoCLIP trains a transformer for video and text by contrasting temporally overlapping positive video-text pairs with hard negatives from nearest neighbor retrieval. Our experiments on a diverse series of downstream tasks, including sequence-level text-video retrieval, VideoQA, token-level action localization, and action segmentation reveal state-of-the-art performance, surpassing prior work, and in some cases even outperforming supervised approaches. Code is made available at https://github.com/pytorch/fairseq/tree/main/examples/MMPT.

연구 동기 및 목표

• 하류 레이블에 대한 미세조정 없이 다양한 비디오-텍스트 이해 작업으로의 제로샷 전이를 가능하게 하기 위해.
• 엄격한 시간적 정렬 대신 느슨한 시간적 겹침을 가진 비디오 및 텍스트 클립을 사용하여 세분화된 비디오-텍스트 정렬을 향상시키기 위해.
• 유사한 비디오 클러스터를 검색하여 더 어려운 음성 샘플을 제공함으로써 대비 학습의 음성 샘플링을 향상시키기 위해.
• HowTo100M에서 사전 훈련한 통합 비디오-텍스트 모델이 시퀀스 수준 및 토큰 수준 작업 전반에 걸쳐 효과적으로 일반화되는지 평가하기 위해.
• 향상된 양성 및 음성 샘플링을 갖춘 대비 학습이 제로샷 설정에서 지도 학습 방법을 능가할 수 있는지 조사하기 위해.

제안 방법

• 정확한 시작/종료 타임스탬프 정렬이 필요 없이, 시간적으로 겹치는 영역을 가진 비디오 및 텍스트 클립을 비교하는 대비 목표 함수를 사용하여 통합 트랜스포머 모델을 사전 훈련한다.
• 유사도 기반으로 비디오를 클러스터링하여 검색 기반 전략을 활용해 어려운 음성 샘플을 포함한 배치를 구성함으로써 음성 쌍의 난이도를 높인다.
• 양성 비디오-텍스트 쌍(시간적 겹침이 있는 경우)이 음성 쌍보다 임베딩 공간에서 더 가까워지도록 유도하는 대비 손실(예: InfoNCE)을 적용한다.
• 비디오 및 텍스트를 위한 공유 또는 별도의 인코더를 갖춘 双중 스트림 트랜스포머 인코더를 사용하여 공동 표현 학습을 가능하게 한다.
• 근접한 이웃 검색을 통해 앵커 비디오와 유사한 비디오에서 어려운 음성 샘플을 추출함으로써 대비 목표의 난이도를 높인다.
• 수동 애너테이션 없이 원시 비디오와 음성 번역 문장을 사용하여 HowTo100M 데이터셋을 사전 훈련에 활용한다.

실험 결과

연구 질문

• RQ1 엄격한 시간적 정렬 대비 느슨한 시간적 겹침을 가진 비디오-텍스트 클립을 사용하는 대비 학습 접근법이 제로샷 비디오-텍스트 이해 성능을 향상시킬 수 있는가?
• RQ2 검색 기반 음성 샘플링은 무작위 또는 내부 비디오 음성 샘플링보다 제로샷 비디오-텍스트 작업에서 더 나은 일반화를 이끌어내는가?
• RQ3 HowTo100M에서 사전 훈련한 통합 비디오-텍스트 모델이 검색, VideoQA, 동작 정렬과 같은 다양한 작업에서 최신 기술 수준의 제로샷 성능을 달성할 수 있는가?
• RQ4 제로샷 성능가지 하류 데이터에 대해 미세조정된 완전히 지도 학습된 모델의 성능에 도달하거나 능가할 수 있는가?
• RQ5 공유 인코더, [CLS] 토큰 사용, 또는 검색 윈도우 길이와 같은 설계 선택 사항이 모델 성능에 어떤 영향을 미치는가?

주요 결과

• VideoCLIP은 YouCook2에서 제로샷 설정에서 텍스트-비디오 검색에 대해 R@1 22.7%를 달성하여 이전의 모든 제로샷 방법을 능가하고 일부 완전히 지도 학습된 모델을 초월한다.
• 검색 기반 음성 샘플링을 제거하면 R@1가 18.5%로 떨어지고, 검색과 겹치는 클립 모두를 제거하면 성능이 12.4%로 떨어지며, 이는 양 구성 요소로 인해 약 50%의 상대적 향상이 이루어졌음을 보여준다.
• 다수의 클립을 양성으로 사용하는 MIL-NCE 손실을 적용한 경우 R@1는 16.1%에 그치며, VideoCLIP의 22.7%에 비해 유의미하게 열 劣하다. 이는 제안된 목표 함수가 더 효과적임을 시사한다.
• 모델은 동작 정렬 및 세그멘테이션 작업에서 경쟁적인 성능을 보이며, 다양한 정밀도 수준의 비디오-텍스트 정렬에 걸쳐 강력한 제로샷 일반화 능력을 입증한다.
• 비디오 및 텍스트 트랜스포머 인코더를 공유하는 경우 성능 저하가 미미하다(21.9% R@1 대비 22.7%), 이는 공동 모델링이 효과적임을 시사한다.
• 비디오의 첫 32초를 검색에 사용할 경우 성능이 열악해진다(20.1% R@1), 이는 전체 비디오 표현이 부분적 표현보다 더 정보가 많음을 시사한다.