[論文レビュー] Vision-by-Language for Training-Free Compositional Image Retrieval

Shyamgopal Karthik, Karsten Roth+2 more|arXiv (Cornell University)|Oct 13, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、視覚言語モデル（VLM）を用いた画像キャプション生成と大規模言語モデル（LLM）を用いたテキスト修飾の推論に依存する、トレーニング不要なゼロショット構成的画像検索のためのCIReVLを提案する。画像理解、言語ベースの推論、クロスモodal検索を分離することで、CIReVLはCIRCOにおけるmAP@5で最大2.5倍の向上を達成し、CIRRではR@1=34.64%を達成するという最先端の性能を実現した。同時に、モジュラーで言語ベースのパイプラインコンponentにより、人間による解釈可能性と後処理介入を可能にした。

ABSTRACT

Given an image and a target modification (e.g an image of the Eiffel tower and the text "without people and at night-time"), Compositional Image Retrieval (CIR) aims to retrieve the relevant target image in a database. While supervised approaches rely on annotating triplets that is costly (i.e. query image, textual modification, and target image), recent research sidesteps this need by using large-scale vision-language models (VLMs), performing Zero-Shot CIR (ZS-CIR). However, state-of-the-art approaches in ZS-CIR still require training task-specific, customized models over large amounts of image-text pairs. In this work, we propose to tackle CIR in a training-free manner via our Compositional Image Retrieval through Vision-by-Language (CIReVL), a simple, yet human-understandable and scalable pipeline that effectively recombines large-scale VLMs with large language models (LLMs). By captioning the reference image using a pre-trained generative VLM and asking a LLM to recompose the caption based on the textual target modification for subsequent retrieval via e.g. CLIP, we achieve modular language reasoning. In four ZS-CIR benchmarks, we find competitive, in-part state-of-the-art performance - improving over supervised methods. Moreover, the modularity of CIReVL offers simple scalability without re-training, allowing us to both investigate scaling laws and bottlenecks for ZS-CIR while easily scaling up to in parts more than double of previously reported results. Finally, we show that CIReVL makes CIR human-understandable by composing image and text in a modular fashion in the language domain, thereby making it intervenable, allowing to post-hoc re-align failure cases. Code will be released upon acceptance.

研究の動機と目的

• 教師付き構成的画像検索（CIR）における高いアノテーションコストを低減するため、トレーニングなしにゼロショット検索を可能にする。
• 主に言語ドメインで動作させることで、CIRにおける解釈可能性とユーザーの干渉を向上させる。
• 再トレーニングなしに、ゼロショットCIRにおけるスケーリング法則を調査し、モジュラーでプラグアンドプレイ可能なコンponentsを活用する。
• 特化した微調整済みモデルと比較して、市販モデルが競争力あるか、あるいは優れた性能を達成できることを示す。
• パイプラインの任意の段階で人間による介入を可能にし、検索失敗の後処理補正を実現する。

提案手法

• 事前学習済みの視覚言語モデル（例：BLIP-2 や CoCa）を用いて、参照画像の詳細なキャプションを生成する。
• 生成されたキャプションとテキスト修飾（例：'人々がいなく、夜間'）を大規模言語モデル（LLM）に供給し、望ましい修正画像を記述するターゲットキャプションを生成する。
• 事前学習済みのCLIPモデルを用いて、LLMが生成したキャプションに基づき、データベース内から類似度が最も高い画像を検索する。
• 検索パイプラインを3段階のモジュラーな段階に分離する：キャプション生成、言語ベースの推論、クロスモダルド検索。
• 再トレーニングなしに、任意の段階でキャプションや指示を手動で修正できるようにして、ユーザーの干渉を可能にする。
• 検索モデルを単に置き換えることで（例：CLIP-B/16 から ViT-g/14 に）、システム全体を再トレーニングせずに性能を向上させられる。

実験結果

リサーチクエスチョン

• RQ1 市販のモデルを用いたトレーニング不要でモジュラーなパイプラインが、微調整済み手法と比較して、競争力あるか、あるいは優れた性能を達成できるか。
• RQ2 LLM段階における言語レベルの推論が、検索精度と一般化性能にどの程度寄与するか。
• RQ3 再トレーニングなしに、検索モデルの容量に関するスケーリング法則がゼロショットCIRの性能にどのように影響するか。
• RQ4 モジュラーで言語ベースの設計が、人間による解釈可能性と検索失敗の後処理介入を可能にするか。
• RQ5 この手法は、ドメイン変換や条件付き類似度タスクを含む、多様なCIRベンチマークに一般化可能か。

主な発見

• CIReVLはCIRRベンチマークでR@1=34.64%を達成し、SEARLEが報告した以前の最先端スコア24.55%を大きく上回った。
• CIRCOベンチマークではmAP@5=26.77%に達し、以前に報告された最高スコア11.68%を2倍以上に上回った。
• 検索モデルの容量と性能の間には明確な対数線形のスケーリング関係が確認され、より大きなモデルが顕著な向上をもたらした。
• 失敗事例は、言語ベースのパイプラインのおかげで容易に診断・修正可能であり、キャプションまたは指示レベルでの有効な人間の干渉が可能である。
• アブレーションスタディの結果、テキストクエリに対する言語レベルの推論が不可欠であることが確認され、キャプション生成および検索コンポーネントも全体の性能に大きく寄与している。
• モジュラーでトレーニング不要な設計により、CLIP-B/16からViT-g/14へのコンポーネントの交換が容易に可能であり、再トレーニングやアーキテクチャの変更なしにスケーリングが可能である。