[論文レビュー] Sentence-level Prompts Benefit Composed Image Retrieval

Yang Bai, Xinxing Xu+6 more|arXiv (Cornell University)|Oct 9, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、事前学習済みの視覚言語モデル（例：BLIP-2）を用いて、参照画像と相対的キャプションから、豊富で記述的な文レベルのプロンプトを生成する、新しい手法である文レベルプロンプトを用いた組み合わせ的画像検索（SPRC）を提案する。これらのプロンプトを相対的キャプションと連結することで、標準的なテキストベースの画像検索モデルを用いた効果的な検索が可能となり、特にオブジェクトの削除や属性の変更といった複雑な変更に対して、従来のラテナル融合法や擬似語ベースの手法を上回る性能を発揮し、Fashion-IQおよびCIRRデータセットにおいて最先端の性能を達成する。

ABSTRACT

Composed image retrieval (CIR) is the task of retrieving specific images by using a query that involves both a reference image and a relative caption. Most existing CIR models adopt the late-fusion strategy to combine visual and language features. Besides, several approaches have also been suggested to generate a pseudo-word token from the reference image, which is further integrated into the relative caption for CIR. However, these pseudo-word-based prompting methods have limitations when target image encompasses complex changes on reference image, e.g., object removal and attribute modification. In this work, we demonstrate that learning an appropriate sentence-level prompt for the relative caption (SPRC) is sufficient for achieving effective composed image retrieval. Instead of relying on pseudo-word-based prompts, we propose to leverage pretrained V-L models, e.g., BLIP-2, to generate sentence-level prompts. By concatenating the learned sentence-level prompt with the relative caption, one can readily use existing text-based image retrieval models to enhance CIR performance. Furthermore, we introduce both image-text contrastive loss and text prompt alignment loss to enforce the learning of suitable sentence-level prompts. Experiments show that our proposed method performs favorably against the state-of-the-art CIR methods on the Fashion-IQ and CIRR datasets. The source code and pretrained model are publicly available at https://github.com/chunmeifeng/SPRC

研究の動機と目的

• 複雑な視覚的変化（例：オブジェクトの削除や属性の変更）に対処する際、従来の組み合わせ的画像検索（CIR）手法の限界を解消すること。
• 短く一括されたトークン表現のため、参照画像内の複数のオブジェクトを分離できない擬似語ベースのプロンプト生成の欠陥を克服すること。
• より正確で表現力のある画像変化の記述を実現するため、視覚的および言語的文脈を活用する新たなプロンプト戦略を提案すること。
• 文レベルのプロンプトが、擬似語やラテナル統合よりも優れた検索性能を示すことを、ベンチマークCIRデータセット上で実証すること。

提案手法

• 軽量なQ-Formerモジュールを用いて、事前学習済みの視覚言語モデル（例：BLIP-2）から参照画像と相対的キャプションを入力として、文レベルのプロンプトを生成する。
• 生成された文レベルのプロンプトを相対的キャプションと連結し、検索用の強化されたテキストクエリを構築する。
• 画像-テキスト対照損失とテキストプロンプト整合性損失の二重損失を用いて、プロンプト生成ネットワークを訓練することで、意味的整合性と正確性を保証する。
• Q-Formerをテキストプロンプト生成ネットワークとして採用し、画像特徴量とキャプション埋め込みを入力として受け取り、文脈に根ざした文レベルの記述を生成する。
• バランスハイパーパrameter γ を用いて整合性損失の重みを調整し、プロンプトが視覚的および言語的情報を両方保持することを保証する。
• CIRベンチマークにおけるプロンプト品質と検索性能の向上を図るため、システム全体をエンドツーエンドで微調整する。

Figure 1: Workflows of existing CIR methods and Ours: (a) Late fusion, (b) pseudo-word embedding, and (c) our proposed method. It can be seen that late fusion and pseudo-word embedding are limited in handling the cases where multiple objects are involved in the reference image and complex changes, e

実験結果

リサーチクエスチョン

• RQ1 画像とキャプションの両方から導出される文レベルのプロンプトは、擬似語ベースやラテナル統合手法よりも、組み合わせ的画像検索を向上させるか？
• RQ2 文レベルのプロンプトの長さは、検索性能と計算コストにどのように影響するか？
• RQ3 プロンプト生成において、画像とキャプションの特徴量を統合的にモデル化することで、オブジェクトの削除のような複雑な視覚的変化の分離が向上するか？
• RQ4 CIRのプロンプト生成プロセスにおいて、画像とテキストの監視の最適なバランスは何か？
• RQ5 既存のテキストベースの画像検索モデルは、文レベルのプロンプト拡張によって、CIRに効果的に再利用可能か？

主な発見

• 提案手法のSPRCは、Fashion-IQおよびCIRRの両データセットで最先端の性能を達成し、複雑な視覚的変化の処理において従来手法を上回った。
• Fashion-IQでは、mRRが54.39%（Recall@1）、84.76%（Recall@5）、91.25%（Recall@10）を達成し、ベースラインを顕著に上回った。
• CIRRでは、平均mRRが81.27%を達成し、前人を上回った。特にオブジェクトの削除や属性の変更を伴う困難なケースで顕著な性能向上が見られた。
• アブレーションスタディの結果、プロンプト長は32トークンまで性能向上に正の相関を示し、それ以上では収束効果が顕著になった。
• γ = 0.8のとき整合性損失が最適な性能を示し、視覚的および言語的監視のバランスがプロンプト品質にとって極めて重要であることが示された。
• Ours RC（キャプションのみからのプロンプト）とOurs RI（画像のみからのプロンプト）を上回る性能を示したため、画像とキャプションの共同モデリングの必要性が確認された。

Figure 2: Overall pipeline of our proposed SPRC . (a) Illustration of the training phase, where proper sentence-level prompts are integrated into the relative captions thereby providing essential textual prompts containing information about the objects depicted in the reference images and their rela