[논문 리뷰] Less is More: ClipBERT for Video-and-Language Learning via Sparse Sampling

Jie Lei, Linjie Li외 5명|arXiv (Cornell University)|2021. 02. 11.

Multimodal Machine Learning Applications참고 문헌 81인용 수 48

한 줄 요약

ClipBERT는 훈련 중 짧은 비디오 클립을 희소 샘플링하여 엔드 투 엔드 비디오-언어 학습을 가능하게 하며, 검색 및 질의응답 태스크에서 밀도 있는 전체 비디오 피처 방법과 비교하거나 더 나은 성능을 달성합니다.

ABSTRACT

The canonical approach to video-and-language learning (e.g., video question answering) dictates a neural model to learn from offline-extracted dense video features from vision models and text features from language models. These feature extractors are trained independently and usually on tasks different from the target domains, rendering these fixed features sub-optimal for downstream tasks. Moreover, due to the high computational overload of dense video features, it is often difficult (or infeasible) to plug feature extractors directly into existing approaches for easy finetuning. To provide a remedy to this dilemma, we propose a generic framework ClipBERT that enables affordable end-to-end learning for video-and-language tasks, by employing sparse sampling, where only a single or a few sparsely sampled short clips from a video are used at each training step. Experiments on text-to-video retrieval and video question answering on six datasets demonstrate that ClipBERT outperforms (or is on par with) existing methods that exploit full-length videos, suggesting that end-to-end learning with just a few sparsely sampled clips is often more accurate than using densely extracted offline features from full-length videos, proving the proverbial less-is-more principle. Videos in the datasets are from considerably different domains and lengths, ranging from 3-second generic domain GIF videos to 180-second YouTube human activity videos, showing the generalization ability of our approach. Comprehensive ablation studies and thorough analyses are provided to dissect what factors lead to this success. Our code is publicly available at https://github.com/jayleicn/ClipBERT

연구 동기 및 목표

• 고정된 밀집 추출 피처에 의존하지 않고 엔드 투 엔드 비디오-언어 학습의 동기를 부여한다.
• 메모리와 연산을 줄이기 위해 비디오당 소수의 짧은 클립에서 학습하는 희소 샘플링 프레임워크를 제안한다.
• 이미지-텍스트 사전 학습이 비디오-텍스트 태스크에 이점을 주며 엔드 투 엔드 미세조정이 성능을 향상시킴을 시연한다.

제안 방법

• 훈련 중 비디오당 하나 또는 몇 개의 짧은 클립을 희소 샘플링하고 샘플링된 클립들의 예측을 집계합니다.
• 각 샘플링된 클립은 2D ResNet-50 비전 백본으로 인코딩되고 12-layer 트랜스포머를 이용한 교차 모달 모듈에서 텍스트와 융합됩니다.
• 훈련 중에는 비전 인코더와 언어 인코더를 통해 그라디언트가 흐르며 태스크 특화 미세조정(엔드 투 엔드 학습)이 일어납니다.
• 추론 시에는 밀도 샘플링된 클립들로부터의 예측을 집계하여 최종 비디오 수준 출력을 형성합니다(예: 평균, LogSumExp).
• 비전 및 언어 구성요소를 이미지-텍스트 사전 학습(COCO/Visual Genome)에서 초기화하고 다운스트림 비디오-텍스트 태스크에서 미세조정합니다.

실험 결과

연구 질문

• RQ1 훈련 시 희소 샘플링이 텍스트-투-비디오 검색 및 비디오 질문 응답에서 전체 비디오 피처를 밀집하게 사용하는 방법과 대등하거나 우수한 성능을 제공하는가?
• RQ2 이미지-텍스트 사전 학습과 엔드 투 엔드 미세조정이 비디오-텍스트 이해 태스크를 향상시킬 수 있는가?
• RQ3 입력 해상도, 프레임 수, 클립 수가 성능과 효율성에 어떤 영향을 미치는가?
• RQ4 클립들에 대한 집계 전략이 최종 예측에 어떤 영향을 미치는가?
• RQ5 희소 샘플링이 밀집 샘플링보다 메모리 측면에서 더 효율적이면서 정확도 유지 또는 향상을 제공하는가?

주요 결과

• 클립당 두 프레임의 희소 샘플링은 검색 및 QA 태스크에서 종종 16 프레임의 밀집 샘플링과 상응하거나 이를 능가합니다.
• 프레임 간 평균 풀링은 ClipBERT에서 시간 정보를 융합하는 데 3D 컨볼루션보다 더 효과적입니다.
• 추론 클립 수를 늘리면 어느 정도까지 성능이 향상되지만 몇 개의 클립을 넘어서면 수익이 감소합니다.
• 희소 난수 샘플링은 메모리 및 계산 효율성 측면에서 밀집 균일 샘플링보다 우수하며, 정확도도 더 좋거나 비슷합니다.
• 이미지-텍스트 사전 학습(COCO/Visual Genome)은 엔드 투 엔드 미세조정 후 MSRVTT 검색 및 MSRVTT-QA 결과를 크게 향상시킵니다.
• 엔드 투 엔드 학습은 비전 인코더나 언어 인코더 중 하나를 고정시키는 것보다 더 나은 성능을 보입니다.