[논문 리뷰] Scaling Up Vision-Language Pre-training for Image Captioning

Xiaowei Hu, Zhe Gan외 5명|arXiv (Cornell University)|2021. 11. 24.

Multimodal Machine Learning Applications참고 문헌 56인용 수 16

한 줄 요약

이 논문은 이미지 캡션 생성을 위한 대규모 시각-언어 미리 훈련 모델인 LEMON을 소개한다. 모델 크기(13M에서 675M 파라미터로 확장)와 미리 훈련 데이터(웹 앨트텍스트에서 유래한 최대 2억 개의 이미지-텍스트 쌍, ALT200M)를 모두 확장하였다. 더 큰 모델과 더 많은 데이터를 사용할수록 성능 향상이著명하게 나타나며, COCO Caption, nocaps, Conceptual Captions에서 새로운 최고 성능을 기록하였다. 또한, 희소한 시각적 개념에 대한 강력한 제로샷 일반화 성능을 보였다.

ABSTRACT

In recent years, we have witnessed significant performance boost in the image captioning task based on vision-language pre-training (VLP). Scale is believed to be an important factor for this advance. However, most existing work only focuses on pre-training transformers with moderate sizes (e.g., 12 or 24 layers) on roughly 4 million images. In this paper, we present LEMON, a LargE-scale iMage captiONer, and provide the first empirical study on the scaling behavior of VLP for image captioning. We use the state-of-the-art VinVL model as our reference model, which consists of an image feature extractor and a transformer model, and scale the transformer both up and down, with model sizes ranging from 13 to 675 million parameters. In terms of data, we conduct experiments with up to 200 million image-text pairs which are automatically collected from web based on the alt attribute of the image (dubbed as ALT200M). Extensive analysis helps to characterize the performance trend as the model size and the pre-training data size increase. We also compare different training recipes, especially for training on large-scale noisy data. As a result, LEMON achieves new state of the arts on several major image captioning benchmarks, including COCO Caption, nocaps, and Conceptual Captions. We also show LEMON can generate captions with long-tail visual concepts when used in a zero-shot manner.

연구 동기 및 목표

• 모델 크기와 데이터 규모에 따라 시각-언어 미리 훈련(VLP)의 스케일링 행동을 조사하기 위해.
• 웹 앨트텍스트 속성에서 유래한 대규모 웹 크롤링 이미지-텍스트 데이터셋(ALT200M)을 구축하여 대규모 미리 훈련을 가능하게 하기 위해.
• 다양한 모델 아키텍처와 훈련 목표의 효과를 평가하고, 특히 노이즈가 많은 대규모 데이터 환경에서의 성능을 분석하기 위해.
• 이미지 캡션 생성에서 VLP의 경험적 스케일링 법칙을 수립하고, 모델 용량과 데이터 볼륨 사이의 최적의 트레이드오프를 규명하기 위해.
• 대규모 노이즈가 있는 데이터로 훈련된 큰 모델이 최고 성능을 달성하고, 희소한 시각적 개념에 대해 제로샷 일반화를 효과적으로 수행할 수 있음을 보여주기 위해.

제안 방법

• 웹 앨트텍스트에서 수집한 최대 2억 3,400만 개의 이미지-텍스트 쌍을 포함한 ALT200M 데이터셋을 구축하여, 풍부한 희소 개념 커버리지 확보.
• 기본 아키텍처로 VinVL 모델을 사용하여 트랜스포머의 깊이와 너비를 조절하여 13M에서 675M 파라미터까지 확장된 모델을 설계.
• 다운스트림 캡션 생성 작업과 일관성을 유지하기 위해 훈련 목표를 수정하여 순서 기반 마스킹 언어 모델링(s2s-MLM)을 적용.
• 모델 크기와 데이터 규모(300만에서 2억 개 샘플)를 변화시키는 제어 실험을 수행하고, ALT200M에서 훈련한 후 COCO, nocaps, Conceptual Captions에서 평가.
• 모델 아키텍처(에코더 전용 vs. 에코더-디코더)와 훈련 목표(LM 대비 s2s-MLM)를 비교하는 분석 실험을 수행하였으며, 특히 노이즈가 많은 데이터 조건에서의 성능을 분석.
• COCO에서 피니튜닝하고 nocaps(도메인 외부)에서 테스트하여 일반화 능력을 평가하고, 학습 곡선과 데이터 효율성을 분석.

실험 결과

연구 질문

• RQ1 미리 훈련 데이터가 점점 커질수록 모델 크기가 이미지 캡션 생성 성능에 어떤 영향을 미치는가?
• RQ2 특히 노이즈가 많고 웹에서 크롤링된 데이터일 경우, 미리 훈련 데이터 규모가 다운스트림 캡션 성능에 어떤 영향을 미치는가?
• RQ3 이미지 캡션 생성에서 대규모 노이즈가 있는 데이터 환경에서, 어떤 훈련 목표(LM 대비 s2s-MLM)가 가장 우수한 성능을 보이는가?
• RQ4 대규모 VLP 모델이 훈련 중에 볼 수 없었던 희소한 시각적 개념에 대해 제로샷으로 일반화할 수 있는가?
• RQ5 학습 효율성과 성능 포화 상태를 결정하는 데 있어 모델 용량과 데이터 규모가 어떻게 상호작용하는가?

주요 결과

• LEMON은 COCO Caption Karpathy 테스트 세트에서 새로운 최고 성능인 CIDEr 점수 120.9를 기록하여 이전 방법들을 초월하였다.
• Conceptual Captions에서 CIDEr 점수 104.4를 기록하여 노이즈가 많고 오픈 도메인 데이터에서의 강력한 성능을 입증하였다.
• 작은 데이터셋(<1,000만)에서는 모델 크기 증가로 인한 성능 향상이 미미했지만, 1,000만 이상의 데이터셋에서는 성능 향상이著명하게 나타나, 데이터 의존적 스케일링 임계점이 존재함을 시사하였다.
• 0.8B 샘플에서 훈련한 '허게' 모델(675M 파라미터)이 190억 샘플에서 훈련한 '베이스' 모델보다 우수한 성능을 보였으며, 더 큰 모델이 더 높은 데이터 효율성을 가짐을 보였다.
• s2s-MLM 목표가 표준 언어 모델링(LM)보다 우수했으며, 특히 노이즈가 많은 데이터에서 성능이 뛰어나고 학습률 초모수에 덜 민감함을 확인하였다.
• LEMON은 강력한 제로샷 일반화 능력을 보였으며, 피니튜닝 중에 볼 수 없었던 희소한 시각적 개념에 대해 효과적으로 캡션을 생성하였다.