[논문 리뷰] ClipCap: CLIP Prefix for Image Captioning

Ron Mokady, Amir Hertz외 1명|arXiv (Cornell University)|2021. 11. 18.

Multimodal Machine Learning Applications참고 문헌 45인용 수 12

한 줄 요약

ClipCap는 고정된 시각적 프리픽스로 CLIP 임베딩을 사용하는 경량 이미지 캡셔닝 방법을 제안한다. 이 프리픽스는 작은 신경망을 통해 고정된 GPT-2 언어 모델을 조건화한다. 오직 매핑 헤드만을 훈련시킴으로써, Conceptual Captions와 nocaps에서 최신 기술 수준의 성능을 달성하며 훈련 시간과 파rameter 수를 크게 줄였다. 이는 사전 훈련된 시각-언어 모델이 백본 모델의 미세조정 없이도 효율적이고 고품질의 캡셔닝을 가능하게 한다는 것을 보여준다.

ABSTRACT

Image captioning is a fundamental task in vision-language understanding, where the model predicts a textual informative caption to a given input image. In this paper, we present a simple approach to address this task. We use CLIP encoding as a prefix to the caption, by employing a simple mapping network, and then fine-tunes a language model to generate the image captions. The recently proposed CLIP model contains rich semantic features which were trained with textual context, making it best for vision-language perception. Our key idea is that together with a pre-trained language model (GPT2), we obtain a wide understanding of both visual and textual data. Hence, our approach only requires rather quick training to produce a competent captioning model. Without additional annotations or pre-training, it efficiently generates meaningful captions for large-scale and diverse datasets. Surprisingly, our method works well even when only the mapping network is trained, while both CLIP and the language model remain frozen, allowing a lighter architecture with less trainable parameters. Through quantitative evaluation, we demonstrate our model achieves comparable results to state-of-the-art methods on the challenging Conceptual Captions and nocaps datasets, while it is simpler, faster, and lighter. Our code is available in https://github.com/rmokady/CLIP_prefix_caption.

연구 동기 및 목표

• 시각 및 언어 인코더의 광범위한 미세조정 없이도 경량이며 빠르게 훈련되는 이미지 캡셔닝 모델을 개발하는 것.
• CLIP의 풍부한 시각-텍스트 표현을 활용하여 캡셔닝에 필요한 데이터와 훈련 요구사항을 줄이는 것.
• CLIP와 GPT-2가 모두 고정된 상태에서, 최소한의 학습 가능한 구성 요소(매핑 네트워크)가 시각적 및 텍스트적 모odal 간 효과적으로 다리를 놓을 수 있는지 탐색하는 것.
• 특히 저자원 및 빠른 적응 상황에서 프리픽스 기반 프ompting의 효과성을 평가하는 것.

제안 방법

• CLIP 이미지 임베딩을 GPT-2와 호환되는 고정 길이의 프리픽스 시퀀스로 변환하는 경량 트랜스포머 또는 MLP 기반 매핑 네트워크를 훈련한다.
• 프리픽스는 시작 시퀀스 토큰과 연결되어 고정된 GPT-2 언어 모델에 입력되어 자동으로 순차적으로 캡처를 생성한다.
• CLIP와 GPT-2의 주요 파라미터는 고정된 채로, 오직 매핑 네트워크와 선택적으로 GPT-2 헤드만을 훈련시켜 종단 간(end-to-end)으로 모델을 학습한다.
• 프리픽스의 의미적 내용을 이해하기 위해 코사인 유사도를 사용하여 가장 가까운 GPT-2 어휘 토큰을 찾는 프리픽스 해석 방법을 도입한다.
• 프리픽스 길이, 매핑 네트워크 아키텍처, 미세조정 전략에 대한 추상화 연구(ablation studies)를 수행한다.
• 추가 애너테이션이나 사전 훈련 없이도 대규모 데이터셋인 Conceptual Captions와 nocaps에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 CLIP와 GPT-2를 모두 미세조정 없이도 단순한 매핑 네트워크가 고품질의 이미지 캡처를 생성할 수 있는가?
• RQ2 매핑 네트워크만을 훈련시키는 것과 GPT-2까지 미세조정하는 것의 성능 차이는 어떻게 되는가?
• RQ3 이 설정에서 표현력과 모델 효율성의 균형을 고려할 때 최적의 프리픽스 길이는 무엇인가?
• RQ4 CLIP와 GPT-2가 모두 고정된 상태에서, 다양한 매핑 네트워크 아키텍처(MLP 대비 트랜스포머)가 캡처 성능에 어떤 영향을 미치는가?
• RQ5 학습된 프리픽스는 어느 정도 의미적으로 해석 가능하며, 이 해석은 이미지 콘텐츠와 관련이 있는가?

주요 결과

• ClipCap는 Conceptual Captions와 nocaps 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 훈련 시간과 파라미터 수가 극히 적은 상태에서도 경쟁 가능한 성능을 보였다.
• CLIP와 GPT-2가 모두 고정된 상태에서 매핑 네트워크만을 훈련시키더라도 모델은 의미 있는 캡처를 생성한다. 이는 프리픽스 기반 적응의 효과성을 보여준다.
• 언어 모델이 고정된 상태에서는 트랜스포머 기반 매핑 네트워크가 MLP보다 성능이 뛰어나지만, GPT-2를 미세조정하는 경우 MLP가 더 나은 성능을 보이며, 이는 아키텍처 간의 상충 관계를 시사한다.
• 프리픽스 길이의 추상화 연구 결과, GPT-2가 고정된 경우 더 긴 프리픽스가 성능 향상에 기여하지만, 미세조정이 활성화되면 파라미터 수 증가로 인해 과적합이 발생함을 확인했다.
• 프리픽스 임베딩의 해석 결과, 매핑 네트워크와 언어 모델이 모두 훈련된 경우 '오토바이', '전시'와 같은 의미 있는 토큰이 포함되어 있어 효과적인 의미적 정렬이 이루어졌음을 확인했다.
• 복잡한 장면, 예를 들어 '해질 무렵 해변에서 요가를 연습하는 여성'과 같은 캡처에 대해서도 모델이 잘 일반화되어 있어 강력한 시각적 이해 능력을 보였다.