[論文レビュー] Retrieval-augmented Image Captioning

Rita Ramos, Desmond Elliott+1 more|arXiv (Cornell University)|Feb 16, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、事前学習済みの視覚・言語BERT（LXMERT）を用いて、入力画像とk個の検索されたキャプションを同時に符号化することで、キャプション生成を向上させる、拡張型のリtrieval増強型画像キャプション生成モデルextraを提案する。視覚的領域と意味的に関連するテキスト的文脈の両方からのクロスモodal表現を活用することで、外部データを用いる際の再訓練を必要とせず、COCO上で最先端の性能を達成した。これは、リtrieval増強型生成が、より豊かなマルチモーダルな文脈を提供することで、キャプション品質を向上させることを示している。

ABSTRACT

Inspired by retrieval-augmented language generation and pretrained Vision and Language (V&L) encoders, we present a new approach to image captioning that generates sentences given the input image and a set of captions retrieved from a datastore, as opposed to the image alone. The encoder in our model jointly processes the image and retrieved captions using a pretrained V&L BERT, while the decoder attends to the multimodal encoder representations, benefiting from the extra textual evidence from the retrieved captions. Experimental results on the COCO dataset show that image captioning can be effectively formulated from this new perspective. Our model, named EXTRA, benefits from using captions retrieved from the training dataset, and it can also benefit from using an external dataset without the need for retraining. Ablation studies show that retrieving a sufficient number of captions (e.g., k=5) can improve captioning quality. Our work contributes towards using pretrained V&L encoders for generative tasks, instead of standard classification tasks.

研究の動機と目的

• 標準の画像キャプション生成モデルが視覚的特徴に依存するという制限を克服し、外部のテキスト的文脈を組み込むこと。
• 事前学習済みの視覚・言語BERTが、分類を超える生成的タスクに効果的に再利用可能かどうかを検討すること。
• データベースから複数のキャプションを検索することによるキャプション生成性能への影響を評価すること。
• 主モデルの再訓練なしに、外部データセットへのゼロショット適応を可能にすること。
• 推論時に検索されたキャプションを可視化することで、解釈可能性を向上させ、バイアスを低減すること。

提案手法

• モデルは、入力画像（36個のオブジェクト領域として表現）とk個の検索キャプションを同時に処理するため、事前学習済みのLXMERTエンコーダーを使用する。
• 検索キャプションはトークン化され、特別なCLSおよびSEPトークンと連結され、V&Lエンコーダーの入力シーケンスとして1つのシーケンスを形成する。
• 検索システムは、画像埋め込みの類似度に基づいて、FAISSを用いてk個の最近接キャプションを特定する。データベースは画像-キャプションペアで構成される。
• Transformerデコーダーは、クロスモダルドエンコーダー出力に注目することで、最終的なキャプションを生成する。
• 標準的な言語モデリング目的関数を用いてCOCOでファインチューニングされるが、外部データを用いる際には再訓練が不要である。
• 動的に外部データセットから関連するキャプションを検索することで、ドメイン内およびドメイン外での一般化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのV&L BERTを用いて、画像と検索キャプションを同時に符号化することで、画像キャプション生成性能が向上するか？
• RQ2 検索キャプション数（k）が、キャプション品質およびモデルの頑健性に与える影響は何か？
• RQ3 外部データセットからのキャプションを検索することで、モデルが再訓練なしに恩恵を受けることができるか？
• RQ4 検索キャプションの使用が、解釈可能性を向上させ、視覚的注目マップに依存するのを減らすのに寄与するか？
• RQ5 データベース内のバイアスが生成キャプションに与える影響は何か？また、リtrievalはそのバイアスを軽減または明らかにするのを助けるか？

主な発見

• 検索キャプションを用いることで、標準の画像のみのキャプション生成ベースラインを上回る、競争力のある性能をCOCOデータセットで達成した。
• アブレーションスタディの結果、k=5の検索キャプションが最良の性能を示し、複数の検索例がより豊かな文脈を提供することが示された。
• 外部データセット（例：COCO）からのキャプションを有効に活用することで、再訓練なしにFlickr30Kでの性能が向上した。これはゼロショット一般化の可能性を示している。
• 検索キャプションが意味的に関連している場合、モデルの性能が向上することから、検索品質がキャプション品質に直接影響することがわかった。
• 不適切なマッチングやバイアスを含む検索キャプションは、誤ったまたはバイアスのかかった出力を引き起こす可能性があり、解釈可能性の観点から検索例の分析が重要であることが示された。
• 検索キャプションを可視化することで、ブラックボックスの注目マップとは対照的に、透明性のある代替手段としての解釈可能性を提供した。