[논문 리뷰] CoCa: Contrastive Captioners are Image-Text Foundation Models

Jiahui Yu, Zirui Wang외 4명|arXiv (Cornell University)|2022. 05. 04.

Multimodal Machine Learning Applications인용 수 515

한 줄 요약

CoCa는 단일 인코더-디코더 모델에서 대조적(contrastive) 및 생성적(captioning) 비전-언어 사전학습을 통합하여 단일 사전학습 체크포인트로 시각 인식, 교차 모달 검색, 다중모달 이해에서 강력한 제로샷 및 전달 성능을 가능하게 한다.

ABSTRACT

Exploring large-scale pretrained foundation models is of significant interest in computer vision because these models can be quickly transferred to many downstream tasks. This paper presents Contrastive Captioner (CoCa), a minimalist design to pretrain an image-text encoder-decoder foundation model jointly with contrastive loss and captioning loss, thereby subsuming model capabilities from contrastive approaches like CLIP and generative methods like SimVLM. In contrast to standard encoder-decoder transformers where all decoder layers attend to encoder outputs, CoCa omits cross-attention in the first half of decoder layers to encode unimodal text representations, and cascades the remaining decoder layers which cross-attend to the image encoder for multimodal image-text representations. We apply a contrastive loss between unimodal image and text embeddings, in addition to a captioning loss on the multimodal decoder outputs which predicts text tokens autoregressively. By sharing the same computational graph, the two training objectives are computed efficiently with minimal overhead. CoCa is pretrained end-to-end and from scratch on both web-scale alt-text data and annotated images by treating all labels simply as text, seamlessly unifying natural language supervision for representation learning. Empirically, CoCa achieves state-of-the-art performance with zero-shot transfer or minimal task-specific adaptation on a broad range of downstream tasks, spanning visual recognition (ImageNet, Kinetics-400/600/700, Moments-in-Time), crossmodal retrieval (MSCOCO, Flickr30K, MSR-VTT), multimodal understanding (VQA, SNLI-VE, NLVR2), and image captioning (MSCOCO, NoCaps). Notably on ImageNet classification, CoCa obtains 86.3% zero-shot top-1 accuracy, 90.6% with a frozen encoder and learned classification head, and new state-of-the-art 91.0% top-1 accuracy on ImageNet with a finetuned encoder.

연구 동기 및 목표

• 단일 인코더-단일 이미지-텍스트 기초 모델의 개발로써 단일 인코더, 듀얼 인코더, 인코더-디코더 패러다임을 포섭한다.
• 대조 학습을 위한 단일 모드 텍스트 표현과 캡션 생성을 위한 다중 모드 표현을 산출하는 분리된 디코더 아키텍처를 도입한다.
• 웹 규모의 대체 텍스트(alt-text)와 주석 이미지에서 처음부터 시작하는 단일 엔드-투-엔드 사전학습 단계에서 대조 손실과 캡션 손실을 함께 최적화하여 공동 학습한다.
• 제로샷 전이 또는 최소한의 작업 특화 적응을 통해 광범위한 다운스트림 작업에서 최첨단 또는 경쟁력 있는 성능을 달성하는 단일 모델임을 보인다.

제안 방법

• 두 부분으로 구성된 디코더를 갖춘 Contrastive Captioners(CoCa)를 제안: 단일 모드 텍스트 디코더(크로스 어텐션 없음)와 다중 모달 디코더(이미지 인코더에 크로스 어텐스).
• L_CoCa = lambda_Con * L_Con + lambda_Cap * L_Cap 의 결합 목표로 학습하며, 단일 모드 이미지 및 텍스트 임베딩 간의 대조 손실과 다중모달 디코더 출력에 대한 캡션 손실을 결합한다.
• 두 목표에 대해 공유되는 순전파를 허용하는 분리된 학습 그래프를 사용; 대조 학습을 위한 단일 CLS 포함 이미지 토큰과 텍스트 생성을 위한 자기회귀 캡션 스트림을 활용한다.
• 웹 규모 데이터(JFT-3B 라벨을 텍스트로, ALIGN 대체 텍스트 포함)에서 처음부터 사전학습하되 배치 크기 65,536 쌍, 통합 사전학습 체계를 사용한다.
• 작업 특화 주의풀링(attentional pooling)을 채택하여 전역(대조) 및 지역 수준(캡션/멀티모달) 시각 표현을 생성한다.
• 자세한 인코더/디코더 사양 및 매개변수 수와 함께 모델 변형(CoCa-Base, CoCa-Large, CoCa)을 제공하고, 제로샷, 고정 인코더, 미세조정 설정을 평가한다.

실험 결과

연구 질문

• RQ1 단일 이미지-텍스트 기초 모델이 대조학습과 캡션링 목표를 모두 학습할 때 시각 인식, 교차 모달 검색, 다중모달 이해 작업에서 최첨단 성능을 달성할 수 있는가?
• RQ2 디코더를 단일 모드와 다중 모드로 분리하는 것이 다단계 사전학습 없이도 효율적인 공동 학습 및 다향한 다운스트림 전달을 가능하게 하는가?
• RQ3 제로샷 전달, 고정 피처 평가, 및 파인튜닝이 다양한 벤치마크에서 코카(CoCa) 모델에 대해 어떻게 비교되는가?
• RQ4 다양한 다운스트림 작업에서 시각 특징 풀링에 대한 작업 특성 주의 풀링의 효과는 무엇인가?
• RQ5 주석 이미지와 노이즈가 있는 이미지-텍스트 데이터를 모두 이용해 작업 특화 사전학습 단계 없이도 강건한 교차모달 정렬 및 생성 능력을 얻을 수 있는가?

주요 결과

• CoCa는 시각 인식, 교차 모달 검색, 다중모달 이해, 이미지 캡션 생성 등 광범위한 작업에서 최첨단 또는 경쟁력 있는 성능을 달성한다.
• ImageNet에서 CoCa는 86.3% 제로샷 Top-1 정확도, 90.6% 고정 인코더, 91.0% 미세조정으로 달성한다.
• 제로샷 교차 모달 검색에서 CoCa는 MSCOCO 및 Flickr30K에서 이전 방법보다 우수하며 강력한 검색 지표를 보인다.
• 비디오 검색 및 동작 인식에서 CoCa는 제로샷 및 고정 인코더 설정에서 경쟁력 있거나 우수한 성능을 보이며, 미세조정으로 향상된다.
• 멀티모달 이해 벤치마크(VQA, SNLI-VE, NLVR2)에서 CoCa는 강력한 비전-언어 베이스라인을 능가한다.
• 이미지 캡션 생성(MSCOCO, NoCaps)에서 CoCa는 CIDEr 특화 최적화 없이도 강력한 BLEU/METEOR/CIDEr/SPICE 점수를 얻고, NoCaps 결과는 생성된 캡션의 새로운 최첨단을 설정한다.