[논문 리뷰] Retrieval-augmented Image Captioning

Rita Ramos, Desmond Elliott외 1명|arXiv (Cornell University)|2023. 02. 16.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 외부 데이터를 사용할 때 재학습이 필요 없이 COCO에서 최고 성능을 달성하는, 검색 증강 이미지 캡셔닝 모델인 extra를 제안한다. 이 모델은 사전 훈련된 시각-언어 BERT(LXMERT)를 사용해 입력 이미지와 k개의 검색된 캡셔닝을 함께 인코딩함으로써 캡셔닝 생성을 향상시킨다. 시각적 영역과 의미적으로 관련된 텍스트적 맥락에서 유래한 다중모odal 표현을 활용함으로써, 검색 증강 생성이 더 풍부한 다중모달 맥락을 통해 캡셔닝 품질을 향상시킨다는 것을 입증한다.

ABSTRACT

Inspired by retrieval-augmented language generation and pretrained Vision and Language (V&L) encoders, we present a new approach to image captioning that generates sentences given the input image and a set of captions retrieved from a datastore, as opposed to the image alone. The encoder in our model jointly processes the image and retrieved captions using a pretrained V&L BERT, while the decoder attends to the multimodal encoder representations, benefiting from the extra textual evidence from the retrieved captions. Experimental results on the COCO dataset show that image captioning can be effectively formulated from this new perspective. Our model, named EXTRA, benefits from using captions retrieved from the training dataset, and it can also benefit from using an external dataset without the need for retraining. Ablation studies show that retrieving a sufficient number of captions (e.g., k=5) can improve captioning quality. Our work contributes towards using pretrained V&L encoders for generative tasks, instead of standard classification tasks.

연구 동기 및 목표

• 표준 이미지 캡셔닝 모델이 시각적 특징에만 의존하는 한계를 해결하기 위해 외부 텍스트적 맥락을 통합하기 위해.
• 사전 훈련된 시각-언어 BERT가 분류 작업 이외의 생성 작업에 효과적으로 재사용될 수 있는지 탐색하기 위해.
• 데이터베이스에서 여러 캡셔닝을 검색함으로써 캡셔닝 성능에 미치는 영향을 평가하기 위해.
• 메인 모델을 재학습하지 않고도 외부 데이터셋에 대해 제로샷 적응을 가능하게 하기 위해.
• 추론 중에 검색된 캡셔닝을 시각화함으로써 해석 가능성 향상과 편향 감소를 위해.

제안 방법

• 모델은 입력 이미지(36개의 객체 영역으로 표현됨)와 k개의 검색된 캡셔닝을 함께 처리하기 위해 사전 훈련된 LXMERT 인코더를 사용한다.
• 검색된 캡셔닝은 토큰화되어 특수한 CLS 및 SEP 토큰과 연결되어 V&L 인코더용 단일 입력 시퀀스를 형성한다.
• 검색 시스템은 FAISS를 사용해 이미지 임베딩 유사도 기반으로 k개의 근접한 캡셔닝을 찾으며, 이는 이미지-캡셔닝 쌍의 데이터베이스를 사용한다.
• Transformer 디코더는 교차 모달 인코더 출력에 주의를 기울여 최종 캡셔닝을 생성한다.
• 모델는 표준 언어 모델링 목표를 사용해 COCO에서 미세조정되며, 외부 데이터를 사용할 때 재학습이 필요하지 않다.
• 동적으로 외부 데이터셋에서 관련 캡셔닝을 검색함으로써 도메인 내 및 도메인 외 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 V&L BERT를 사용해 이미지와 검색된 캡셔닝을 함께 인코딩하는 것이 이미지 캡셔닝 성능을 향상시킬 수 있는가?
• RQ2 검색된 캡셔닝 수(k)가 캡셔닝 품질과 모델의 강건성에 어떤 영향을 미치는가?
• RQ3 재학습 없이도 외부 데이터셋에서 캡셔닝을 검색함으로써 모델이 이점을 얻을 수 있는가?
• RQ4 검색된 캡셔닝의 사용이 해석 가능성 향상과 단지 시각적 어텐션 맵에 의존하는 것의 감소에 기여하는가?
• RQ5 데이터베이스의 편향이 생성된 캡셔닝에 영향을 미치며, 검색이 이러한 편향을 완화하거나 드러내는 데 기여하는가?

주요 결과

• 검색된 캡셔닝을 사용할 경우, 표준 이미지 전용 캡셔닝 베이스라인보다 경쟁적인 성능을 보이며 COCO 데이터셋에서 뛰어난 성능을 달성한다.
• 제거 실험 결과, k=5개의 캡셔닝을 검색할 경우 최고의 성능을 기록함으로써, 다수의 검색 예시가 더 풍부한 맥락을 제공한다는 것을 입증한다.
• 재학습 없이도 외부 데이터셋(COCO 등)의 캡셔닝을 효과적으로 활용해 Flickr30K에서의 성능을 향상시킬 수 있으며, 이는 제로샷 일반화의 가능성을 보여준다.
• 검색된 캡셔닝이 의미적으로 관련성이 높을수록 모델의 성능이 향상됨을 확인하여, 검색 품질이 직접적으로 캡셔닝 품질에 영향을 준다는 것을 시사한다.
• 일치하지 않거나 편향된 검색된 캡셔닝은 잘못된 또는 편향된 출력을 초래할 수 있으며, 이는 해석 가능성 분석을 위해 검색된 예시를 점검하는 것이 중요하다는 점을 강조한다.
• 검색된 캡셔닝을 시각화함으로써 모델은 투명한 대안을 제공하는 해석 가능성을 확보하며, 블랙박스 어텐션 맵에 대한 대체 수단이 된다.