[論文レビュー] Improving Image Captioning Descriptiveness by Ranking and LLM-based Fusion

Luigi Celona, Simone Bianco+2 more|arXiv (Cornell University)|Jun 20, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、MS-COCO データセット上で人間の判断とより整合性の高い、より記述的な画像キャプションを生成するためのトレーニングフリーな手法を提案する。5つの最先端（SoTA）キャプション生成モデルの出力を、画像・テキスト一致（ITM）メトリクスを用いて順位付けし、上位2つのキャプションを大規模言語モデル（LLM）を用いて統合する。このアプローチにより、個々のSoTAモデルに比べ、意味的豊かさ、多様性、人間の好みの観点で優れたキャプションが得られることを示した。

ABSTRACT

State-of-The-Art (SoTA) image captioning models are often trained on the MicroSoft Common Objects in Context (MS-COCO) dataset, which contains human-annotated captions with an average length of approximately ten tokens. Although effective for general scene understanding, these short captions often fail to capture complex scenes and convey detailed information. Moreover, captioning models tend to exhibit bias towards the ``average'' caption, which captures only the more general aspects, thus overlooking finer details. In this paper, we present a novel approach to generate richer and more informative image captions by combining the captions generated from different SoTA captioning models. Our proposed method requires no additional model training: given an image, it leverages pre-trained models from the literature to generate the initial captions, and then ranks them using a newly introduced image-text-based metric, which we name BLIPScore. Subsequently, the top two captions are fused using a Large Language Model (LLM) to produce the final, more detailed description. Experimental results on the MS-COCO and Flickr30k test sets demonstrate the effectiveness of our approach in terms of caption-image alignment and hallucination reduction according to the ALOHa, CAPTURE, and Polos metrics. A subjective study lends additional support to these results, suggesting that the captions produced by our model are generally perceived as more consistent with human judgment. By combining the strengths of diverse SoTA models, our method enhances the quality and appeal of image captions, bridging the gap between automated systems and the rich and informative nature of human-generated descriptions. This advance enables the generation of more suitable captions for the training of both vision-language and captioning models.

研究の動機と目的

• MS-COCO から得られる短く平均的な長さのヒトアノテートキャプションに依存する現在の画像キャプション生成モデルが、豊富で詳細な記述を生成する点で限界を示していることに対処すること。
• 複数のSoTAモデル出力を統合することで、個々のモデルに比べてより記述的かつ代表的なキャプションが得られるかどうかを検討すること。
• 得られたキャプションが人間の判断とより整合しており、視覚言語モデルの高品質な学習データとして適しているかどうかを評価すること。
• 現在のキャプション生成モデルが、本手法で生成された記述的で多様な真値データで微調整された場合、より豊かなキャプションを生成できるかどうかを調査すること。

提案手法

• 5つの高性能で再現性のあるSoTA画像キャプション生成モデル（BLIP-2, ExpNet-v2, GIT, OFA, ViT-GPT2）を選定する。
• 選定したモデルを用いて、各画像に対して複数のキャプションを生成する。
• 入力画像との整合性を評価するため、画像・テキスト一致（ITM）メトリクスを用いて生成キャプションを順位付けする。
• 各画像について上位2つのキャプションをLLM統合ステップの入力として選択する。
• 大規模言語モデル（例：GPT-3.5 Davinci）を用いて、上位2つのキャプションの意味を統合し、より記述的な1つのキャプションを生成する。
• 繰り返し構造のパターンを避けるとともに、文脈に即した自然な響きを得られるように、プロンプトを工夫して設計する。

Figure 1: Overview of the proposed image captioning pipeline.

実験結果

リサーチクエスチョン

• RQ1 RQ1: 複数のSoTAモデルのキャプションを統合することで、個々のモデルに比べてより詳細で意味的に豊かなキャプションが得られるか？
• RQ2 RQ2: 人間の判断において、統合キャプションは画像の内容をより適切に反映しているか？
• RQ3 RQ3: 本手法で生成された高品質で記述的なデータで微調整された場合、現在の画像キャプション生成モデルはより豊かなキャプションを生成できるか？

主な発見

• 人間による評価により、本手法が個々のSoTAモデルに比べ、顕著に記述的で意味的に豊かなキャプションを生成することが確認された。
• 人間評価者は、個々のSoTAモデルのキャプションよりも統合キャプションを好んだことから、より高い質感と現実性を感じ取ったと示された。
• MS-COCO テストセットにおいて、本手法は人間の判断と高い一貫性を示し、人間の認識とより整合性の取れた結果を達成した。
• LLMを用いた統合により、入力キャプションに存在しなかった感情的・文脈的な深みが追加された。たとえば「魅力的な光景」とか「鮮やかで活気に満ちた」といった表現が含まれた。
• 成功を収めた一方で、複数のモデルが同一または類似したキャプションを生成する場合に「モード崩壊」が発生し、多様性の向上が制限される場合がある。
• 16枚のテスト画像について、LLMが「この画像のキャプションは以下となる可能性がある：」という構造的プリフィックスを追加していたが、これは入力キャプションに含まれていなかったが、プロンプト設計の結果である。

Figure 3: Image-text matching scores for the captions generated by using the five considered models on an MS-COCO test image. The captioning models are reported in descending order with respect to the BLIPScore.