[논문 리뷰] SmallCap: Lightweight Image Captioning Prompted with Retrieval Augmentation

Rita Ramos, Bruno Martins외 2명|arXiv (Cornell University)|2022. 09. 30.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

SmallCap는 외부 데이터베이스에서 관련된 문장을 검색하여 캡션을 생성하는 경량 이미지 캡셔닝 모델을 제안한다. 학습 가능한 파rameter 수가 700만 개에 불과하지만 COCO에서 경쟁적인 성능을 달성하고, nocaps에서 최신 기술 수준의 제로샷 일반화 성능을 보인다. 이는 재학습이나 미세조정 없이 검색 보강 편지 기반의 프롬프팅을 활용한 결과이다.

ABSTRACT

Recent advances in image captioning have focused on scaling the data and model size, substantially increasing the cost of pre-training and finetuning. As an alternative to large models, we present SmallCap, which generates a caption conditioned on an input image and related captions retrieved from a datastore. Our model is lightweight and fast to train, as the only learned parameters are in newly introduced cross-attention layers between a pre-trained CLIP encoder and GPT-2 decoder. SmallCap can transfer to new domains without additional finetuning and can exploit large-scale data in a training-free fashion since the contents of the datastore can be readily replaced. Our experiments show that SmallCap, trained only on COCO, has competitive performance on this benchmark, and also transfers to other domains without retraining, solely through retrieval from target-domain data. Further improvement is achieved through the training-free exploitation of diverse human-labeled and web data, which proves to be effective for a range of domains, including the nocaps benchmark, designed to test generalization to unseen visual concepts.

연구 동기 및 목표

• 대규모 이미지 캡셔닝 모델을 훈련하는 데 드는 높은 계산 비용을 해결하기 위해.
• 미세조정 없이도 도메인 간 전이를 가능하게 하기 위해.
• 학습 없이도 대규모이고 다양한 텍스트 데이터를 활용하여 일반화 성능을 향상시키기 위해.
• 경쟁적인 성능을 유지하면서 모델 파rameter 수를 줄이기 위해.
• 다중모odal 작업에서 비용이 많이 드는 사전학습과 미세조정의 대안으로 검색 보강을 탐색하기 위해.

제안 방법

• SmallCap는 동결된 CLIP 시각 인코더와 동결된 GPT-2 언어 디코더를 사용하며, 이들 사이의 컨텍스트 어텐션 레이어만 학습 가능하다.
• 모델은 입력 이미지와 외부 데이터베이스에서 검색한 k개의 캡션을 조건으로 하여 캡션을 생성한다.
• 검색은 CLIP 임베딩를 사용해 이미지에서 텍스트로의 검색을 통해 수행되며, 의미적으로 관련된 캡션을 찾는다.
• 검색된 캡션은 디코더를 안내하는 프롬프트 역할을 하여, 파rameter 업데이트 없이도 새로운 시각적 개념에 적응할 수 있도록 한다.
• 데이터베이스를 도메인 특화 또는 다양한 웹/인간 레이블링된 캡션 컬렉션으로 교체함으로써 학습 없이도 적응이 가능하다.
• 성능 평가는 COCO, nocaps, VizWiz, Flickr30k에서 표준 평가 지표인 CIDEr, BLEU, METEOR를 사용하여 평가된다.

Figure 1 : SmallCap ’s performance on the COCO dataset and on the out-of-domain split of the nocaps dataset, compared to other approaches in terms of number of trainable parameters. We can control the number of trainable parameters through the dimensionality of the cross-attention ( $d=d_{v}=d_{k}$

실험 결과

연구 질문

• RQ1 경량 이미지 캡셔닝 모델이 훨씬 적은 학습 가능한 파arameter로도 경쟁적인 성능을 달성할 수 있는가?
• RQ2 검색 보강 편지 기반의 프롬프팅이 미세조정 없이 효과적인 제로샷 도메인 전이를 가능하게 하는가?
• RQ3 다양한 비이미지 캡셔닝 데이터(예: 오디오, 비디오 캡션)에 접근할 수 있다면, 예상치 못한 시각적 개념으로의 일반화 성능이 향상되는가?
• RQ4 검색 보강은 다양한 모델 크기와 데이터 소스에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 COCO 데이터셋에서만 훈련된 모델이 nocaps나 VizWiz와 같은 도메인 외부 벤치마크로 효과적으로 일반화할 수 있는가?

주요 결과

• SmallCap는 COCO 테스트 세트에서 700만 개의 학습 가능한 파arameter로 CIDEr 점수 122.7을 기록했으며, 도메인 외부 벤치마크에서 더 큰 모델들을 능가했다.
• nocaps 벤치마크에서 SmallCap는 훨씬 더 큰 모델들을 능가하며, 예상치 못한 시각적 개념으로의 강력한 제로샷 일반화 성능을 보였다.
• 검색을 사용할 경우 모델 크기(180만에서 2800만 파arameter)에 관계없이 성능이 안정되어 있어, 거의 최적의 파arameter 대 성능 트레이드오프를 보였다.
• 검색 기능을 제거하면 소형 모델과 대형 모델 간 성능 차이가 4.3점 증가하여, 검색이 안정성과 성능 향상에 결정적인 역할을 한다는 것을 입증했다.
• SmallCap는 인간 레이블링된 캡션과 웹 크롤링된 캡션을 포함한 다양한 데이터 소스에서 유의미한 성능 향상을 보였으며, VizWiz 및 기타 도메인 외부 데이터셋에서 성능 향상을 이뤘다.
• 빈 이미지(시각적 입력 없음)를 사용한 추론 실험에서 CIDEr 점수 90.1을 기록하여, 모델이 단순히 검색된 캡션을 재활용하는 것이 아니라 시각적 특징을 실제로 활용하고 있음을 확인했다.

Figure 2 : The SmallCap approach to image captioning. (a) SmallCap generates a caption conditioned on the encoded input image, as well as on a set of $k$ retrieved captions which are used as a task demonstration, input to the decoder as a prompt. (b) The $k$ captions are retrieved from a datastore o