[논문 리뷰] Fine-tuned CLIP Models are Efficient Video Learners

Hanoona Rasheed, Muhammad Uzair Khattak외 3명|arXiv (Cornell University)|2022. 12. 06.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 ViFi-CLIP를 제안하며, 이미지 기반 CLIP 모델의 시각 및 텍스트 인코더를 영상 데이터에 대해 단순하게 미세조정함으로써, 추가적인 파rametric 모듈 없이도 zero-shot, few-shot, 그리고 완전한 지도 학습 영상 벤치마크에서 경쟁적인 성능을 달성하는 간단하면서도 효과적인 베이스라인을 제공한다. 이 방법은 프레임 수준의 특징 집합과 풀링을 통해 시간적 동역학을 암묵적으로 모델링하며, 일반화 능력과 효율성 면에서 복잡한 아키텍처를 능가한다.

ABSTRACT

Large-scale multi-modal training with image-text pairs imparts strong generalization to CLIP model. Since training on a similar scale for videos is infeasible, recent approaches focus on the effective transfer of image-based CLIP to the video domain. In this pursuit, new parametric modules are added to learn temporal information and inter-frame relationships which require meticulous design efforts. Furthermore, when the resulting models are learned on videos, they tend to overfit on the given task distribution and lack in generalization aspect. This begs the following question: How to effectively transfer image-level CLIP representations to videos? In this work, we show that a simple Video Fine-tuned CLIP (ViFi-CLIP) baseline is generally sufficient to bridge the domain gap from images to videos. Our qualitative analysis illustrates that the frame-level processing from CLIP image-encoder followed by feature pooling and similarity matching with corresponding text embeddings helps in implicitly modeling the temporal cues within ViFi-CLIP. Such fine-tuning helps the model to focus on scene dynamics, moving objects and inter-object relationships. For low-data regimes where full fine-tuning is not viable, we propose a `bridge and prompt' approach that first uses fine-tuning to bridge the domain gap and then learns prompts on language and vision side to adapt CLIP representations. We extensively evaluate this simple yet strong baseline on zero-shot, base-to-novel generalization, few-shot and fully supervised settings across five video benchmarks. Our code is available at https://github.com/muzairkhattak/ViFi-CLIP.

연구 동기 및 목표

• 이미지 기반 CLIP 모델의 단순한 미세조정이 이미지와 영상 간의 도메인 갭을 메울 수 있는지 조사하는 것.
• 기존 영상 적응 방법의 한계를 해결하기 위해, 복잡하고 작업에 특화된 모듈에 의존하는 방법들이 일반화 능력을 저해한다는 점을 다루는 것.
• 전체 미세조정이 불가능한 저데이터 환경에서 효율적인 적응 전략을 개발하는 것.
• 미세조정된 CLIP의 일반화 능력을 zero-shot, few-shot, 그리고 base-to-novel 일반화 설정에서 평가하는 것.

제안 방법

• ViFi-CLIP를 제안하며, Kinetics-400와 같은 영상 데이터셋에 대해 CLIP의 시각 및 텍스트 인코더를 모두 미세조정하여 이미지 표현을 영상에 적응시키는 단순한 베이스라인을 제공한다.
• 프레임 수준의 특징 처리 후 시간적 특징 풀링과 텍스트 임베딩을 활용한 대비 손실을 적용하여, 간접적으로 프레임 간 관계를 모델링한다.
• 두 단계의 '브리지 및 프롬프트' 방법을 도입: 먼저 영상 데이터에 대해 CLIP을 미세조정하여 모odal 갭을 해소하고, 그 다음에 가시화-언어(VL) 프롬프트 학습을 적용하여 시각 및 언어 브랜치 양쪽에 학습 가능한 벡터를 사용한다.
• 두 인코더의 더 깊은 층에 프롬프트를 적용하여 계층적 표현을 캡처함으로써, 백본을 다시 미세조정하지 않더라도 적응을 향상시킨다.
• 미세조정 중에 대비 학습 목표를 적용하여 영상 및 텍스트 임베딩을 정렬함으로써, 시간적 및 의미적 정렬을 향상시킨다.
• 다섯 개의 영상 벤치마크에서 zero-shot, few-shot, base-to-novel 일반화 설정을 모두 평가하여 강인성과 일반화 능력을 평가한다.

Figure 1 : This work explores the capability of a simple baseline called ViFi-CLIP (Video Fintuned CLIP) for adapting image pretrained CLIP [ 33 ] to video domain. The figure compares the zero-shot performance of vanilla CLIP and several of its variants adapted for videos (trained on Kinetics-400, e

실험 결과

연구 질문

• RQ1 이미지 기반 표현을 영상 작업에 적응시키기 위해, CLIP의 시각 및 텍스트 인코더에 대한 단순한 미세조정이 파arametric 모듈을 추가하지 않고도 효과적인가?
• RQ2 CLIP의 전체 미세조정은 일반화 능력을 떨어뜨리는가, 아니면 다양한 영상 벤치마크에서 향상시키는가?
• RQ3 저데이터 환경에서 영상 미세조정된 CLIP 백본과 함께 가시화-언어 프롬프트 학습이 얼마나 효과적인가?
• RQ4 간단한 베이스라인이 복잡한 아키텍처보다 성능과 효율성 면에서 뛰어나지 않는가?

주요 결과

• ViFi-CLIP는 zero-shot 설정에서 UCF-101과 HMDB-51에서 각각 93.0% 및 95.0%의 정확도를 기록하여, XCLIP와 ActionCLIP를 능가한다.
• K=2인 few-shot 학습에서 VL 프롬프팅은 UCF-101에서 95.9%의 정확도, HMDB-51에서 96.4%의 정확도를 기록하여, XCLIP보다 각각 2.5%와 2% 높게 기록한다.
• '브리지 및 프롬프트' 접근법은 HMDB-51의 base-to-novel 일반화에서 77.1%의 정확도를 기록하여, 바닐라 CLIP(53.3%)를 능가하고, XCLIP(75.8%)와 유사한 성능을 기록한다.
• VL 프롬프팅은 단지 287 GFLOPs의 FLOPs로도 71.6 throughput(TP)을 기록하여, 유사한 FLOPs를 가지는 ActionCLIP(67.8 TP)와 XCLIP(58.5 TP)를 능가하는 효율성을 보였다.
• t-SNE 시각화 결과, ViFi-CLIP 임베딩은 바닐라 CLIP보다 더 잘 분리되어 있음을 보여주며, 더 나은 영상 전용 인도크티브 바이어스를 학습했다는 것을 시사한다.
• 이 방법은 기존 클래스에서의 강력한 성능를 유지하면서도, 새로운 클래스에서의 일반화 능력을 지속적으로 향상시키며, 다양한 전이 설정에서 강인함을 입증한다.

Figure 2 : Frequency plot of K400 [ 19 ] and SSv2 [ 14 ] .