[논문 리뷰] Improving Image Captioning Descriptiveness by Ranking and LLM-based Fusion

Luigi Celona, Simone Bianco외 2명|arXiv (Cornell University)|2023. 06. 20.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 MS-COCO 데이터셋에서 인간 평가와 더 잘 일치하는 더 기술적인 이미지 설명을 생성하기 위해, 이미지-텍스트 매칭 메트릭을 사용해 다섯 개의 최신 기술(SoTA) 설명 모델의 출력을 순위 매기고, 상위 두 개의 설명을 대규모 언어 모델(LLM)을 통해 융합하는 훈련 없음 방법을 제안한다. 이 방법은 개별 SoTA 모델보다 더 풍부한 의미적 정보, 높은 다양성 및 인간 선호도를 가진 설명을 생성하며, MS-COCO 데이터셋에서 인간 판단과의 일치도 향상됨을 보여준다.

ABSTRACT

State-of-The-Art (SoTA) image captioning models are often trained on the MicroSoft Common Objects in Context (MS-COCO) dataset, which contains human-annotated captions with an average length of approximately ten tokens. Although effective for general scene understanding, these short captions often fail to capture complex scenes and convey detailed information. Moreover, captioning models tend to exhibit bias towards the ``average'' caption, which captures only the more general aspects, thus overlooking finer details. In this paper, we present a novel approach to generate richer and more informative image captions by combining the captions generated from different SoTA captioning models. Our proposed method requires no additional model training: given an image, it leverages pre-trained models from the literature to generate the initial captions, and then ranks them using a newly introduced image-text-based metric, which we name BLIPScore. Subsequently, the top two captions are fused using a Large Language Model (LLM) to produce the final, more detailed description. Experimental results on the MS-COCO and Flickr30k test sets demonstrate the effectiveness of our approach in terms of caption-image alignment and hallucination reduction according to the ALOHa, CAPTURE, and Polos metrics. A subjective study lends additional support to these results, suggesting that the captions produced by our model are generally perceived as more consistent with human judgment. By combining the strengths of diverse SoTA models, our method enhances the quality and appeal of image captions, bridging the gap between automated systems and the rich and informative nature of human-generated descriptions. This advance enables the generation of more suitable captions for the training of both vision-language and captioning models.

연구 동기 및 목표

• MS-COCO에서 제공하는 짧고 평균 길이의 인간 레이블에 의존하는 현재의 이미지 설명 모델이 풍부하고 세부적인 설명을 생성하는 데에 한계가 있다는 문제를 해결하기 위해.
• 여러 SoTA 모델의 출력을 융합하면 개별 모델보다 더 기술적이고 대표적인 설명을 얻을 수 있는지 탐색하기 위해.
• 유도된 설명이 인간 판단과 더 잘 일치하는지, 그리고 시각-언어 모델의 고품질 훈련 데이터로 더 적합한지 평가하기 위해.
• 현재의 이미지 설명 모델이 더 기술적이고 다양한 참조 데이터로 훈련될 경우 성능 향상이 가능한지 조사하기 위해.

제안 방법

• 다섯 개의 고성능이며 재현 가능한 SoTA 이미지 설명 모델(Blip-2, ExpNet-v2, GIT, OFA, ViT-GPT2)을 선정한다.
• 선택된 모델들을 사용해 각 이미지에 대해 다수의 설명을 생성한다.
• 입력 이미지와의 일치도를 평가하기 위해 이미지-텍스트 매칭(ITM) 메트릭을 사용해 생성된 설명들을 순위 매긴다.
• 각 이미지에 대해 상위 두 개의 설명을 LLM 융합 단계의 입력으로 선택한다.
• 대규모 언어 모델(LLM, 예: GPT-3.5 Davinci)을 사용해 상위 두 설명의 의미를 융합하여 하나의 더 기술적인 설명으로 만든다.
• 반복적인 문장 구조 패턴을 피하면서 맥락 인식형, 자연스러운 융합을 유도하기 위해 프롬프트를 설계한다.

Figure 1: Overview of the proposed image captioning pipeline.

실험 결과

연구 질문

• RQ1 RQ1: 여러 SoTA 모델의 설명을 융합하면 개별 모델보다 더 세부적이고 의미적으로 풍부한 설명을 생성할 수 있는가?
• RQ2 RQ2: 인간 평가자에 따르면 융합된 설명은 이미지의 내용을 더 잘 대표하는가?
• RQ3 RQ3: 이 방법으로 생성된 고품질의 기술적 참조 데이터로 훈련하면 현재의 이미지 설명 모델이 더 풍부한 설명을 생성할 수 있는가?

주요 결과

• 인간 평가를 통해 제안된 방법이 개별 SoTA 모델보다 유의미하게 더 기술적이고 의미적으로 풍부한 설명을 생성함을 확인했다.
• 인간 평가자들은 개별 SoTA 모델의 설명보다 융합된 설명을 더 선호했으며, 이는 더 높은 질감과 현실성에 대한 인식을 반영한다.
• MS-COCO 테스트 세트에서 인간 판단과의 일致성이 높아졌으며, 인간 인식과의 더 나은 일치를 보여주었다.
• LLM 기반 융합은 입력 설명에 없던 감정적이고 맥락 기반의 깊이를 도입했으며, 예를 들어 '매력적인 장면'이나 '생생하고 다채로운' 같은 표현이 포함되었다.
• 성공에도 불구하고, 여러 모델이 동일하거나 유사한 설명을 생성할 경우 모드 붕괴 현상이 발생해 다양성 향상에 한계가 있다.
• 16개의 테스트 이미지에서 LLM이 '이미지의 설명은 다음과 같을 수 있다:'라는 문장 구조의 접두사를 도입했으며, 이는 입력 설명에 포함되지 않았지만 프롬프트 설계의 결과였다.

Figure 3: Image-text matching scores for the captions generated by using the five considered models on an MS-COCO test image. The captioning models are reported in descending order with respect to the BLIPScore.