[논문 리뷰] A CLIP-Enhanced Method for Video-Language Understanding

Guohao Li, Feng He외 1명|arXiv (Cornell University)|2021. 10. 14.

Multimodal Machine Learning Applications참고 문헌 13인용 수 7

한 줄 요약

이 논문은 CLIP의 이미지-텍스트 사전학습 지식을 작업에 종속되지 않는 비디오-언어 이해 프레임워크(HERO)에 통합하는 CLIP 강화 방법을 제안한다. 다양한 후행 작업에서 성능 향상을 이룬다. 텍스트 인코더를 CLIP의 트랜스포머로 대체하고 작업별 미세조정 전략을 적용함으로써, VALUE 벤치마크의 메타-에이브 스코어에서 2.4% 절대적 향상(60.00 대비 57.58)을 달성하였으며, 데이터 누출 영향을 제거한 후 VATEX-EN-R(+2%) 및 VATEX-EN-C(+3%)에서도 뚜렷한 성능 향상을 보였다.

ABSTRACT

This technical report summarizes our method for the Video-And-Language Understanding Evaluation (VALUE) challenge (https://value-benchmark.github.io/challenge\_2021.html). We propose a CLIP-Enhanced method to incorporate the image-text pretrained knowledge into downstream video-text tasks. Combined with several other improved designs, our method outperforms the state-of-the-art by $2.4\%$ ($57.58$ to $60.00$) Meta-Ave score on VALUE benchmark.

연구 동기 및 목표

• CLIP에서 사전학습된 이미지-텍스트 지식을 활용하여 비디오-언어 이해를 향상시키기 위해.
• CLIP의 능력을 검색을 넘어서 비디오 질의응답, 캡션 생성, 검색 등 다양한 작업으로 확장하기 위해.
• 작업에 종속되지 않는 통합 프레임워크를 개발하여 CLIP를 아키텍처의 특수 설계 없이 통합하기 위해.
• 다양한 비디오-텍스트 작업에서 도전적인 VALUE 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• HERO 프레임워크의 기본 RoBERTa 텍스트 인코더를 CLIP의 12층, 8헤드 트랜스포머 인코더로 대체하며, CLIP 사전학습 가중치로 초기화한다.
• 대부분의 작업에 대해 CLIP-ViT+SlowFast 시각적 특징을 사용하지만, YC2R 및 YC2C와 같은 특정 데이터셋에는 ResNet+SlowFast를 사용한다.
• 작업별 미세조정 전략을 적용한다: 질의응답 작업에는 전 작업 학습(All-Task Training, AT)을, 그 외에는 단일 작업 학습(Single-Task Training, ST)을 사용하여 성능을 최적화한다.
• VATEX 작업를 제외한 모든 모델은 사전학습된 HERO 가중치로 초기화하며, VATEX 작업에는 CLIP 강화 초기화를 사용한다.
• YC2R, YC2C, TVC 작업의 훈련 및 검증 세트에서 미세조정을 수행하며, 데이터 누출 및 앙상블 기법을 피한다.
• 모델 아키텍처를 작업 간 일관되게 유지하면서 텍스트 인코더와 미세조정 프rotocol만 조정한다.

실험 결과

연구 질문

• RQ1 CLIP의 이미지-텍스트 사전학습 지식은 검색을 넘어서 다양한 비디오-언어 작업으로 효과적으로 전이될 수 있는가?
• RQ2 비디오-언어 이해에서 표준 RoBERTa 기반 인코더와 비교해 CLIP 강화 텍스트 인코딩은 어떻게 성능을 높이는가?
• RQ3 다양한 비디오-언어 작업에서 최적의 성능을 내는 데 있어, 단일 작업 학습(ST)과 전 작업 학습(AT) 중 어떤 미세조정 전략이 더 유리한가?
• RQ4 검증 세트의 데이터 누출 요소를 제외한 상황에서도 CLIP 통합으로 인한 성능 향상이 유지되는가?

주요 결과

• 제안된 CLIP 강화 방법은 VALUE 벤치마크에서 60.00의 메타-에이브 스코어를 달성하여 이전 최신 기술(57.58) 대비 2.4% 절대적 향상을 보였다.
• VATEX-EN-R 검증 세트에서, 데이터 누출 영향을 제거한 후 68.68을 기록하여 최고의 공정한 베이스라인(65.62) 대비 2% 향상되었다.
• VATEX-EN-C 검증 세트에서, 61.36을 기록하여 최고의 공정한 베이스라인(56.19) 대비 3% 향상되었다.
• 데이터 누출으로 인해 과거에 높은 점수를 기록했던 VATEX-EN-R 작업 이외의 모든 작업에서 베이스라인을 초월하는 성능을 보였다.
• How2 및 TV와 같은 데이터셋에서는 CLIP의 사전학습 분포와의 도메인 차이로 인해 일반화가 어려운 것으로 보인다.
• 추가 데이터, 특징, 앙상블 기법 없이도 아키텍처 및 학습 전략 개선만으로 최신 기술 성능을 달성하였다.