[論文レビュー] GIST: Generating Image-Specific Text for Fine-grained Object Classification

Kathleen M. Lewis, Emily Mu+2 more|arXiv (Cornell University)|Jul 21, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

GISTは、大規模言語モデル（GPT）にドメイン固有のプロンプトを用いて、細分化されたオブジェクト分類のための画像固有のテキスト記述を生成し、CLIPを用いてそれらを画像にマッチングすることで、細分化された画像分類のための高精度な画像-テキストペアを生成する手法を提案する。得られた画像-テキストペアを対照学習を用いてCLIPに微調整することで、4つの多様なデータセットにおいてフルショットおよびフェイシショットの両設定で最先端の性能を達成し、CLIP線形プローブ比で平均4.1%の精度向上を実現した。

ABSTRACT

Recent vision-language models outperform vision-only models on many image classification tasks. However, because of the absence of paired text/image descriptions, it remains difficult to fine-tune these models for fine-grained image classification. In this work, we propose a method, GIST, for generating image-specific fine-grained text descriptions from image-only datasets, and show that these text descriptions can be used to improve classification. Key parts of our method include 1. prompting a pretrained large language model with domain-specific prompts to generate diverse fine-grained text descriptions for each class and 2. using a pretrained vision-language model to match each image to label-preserving text descriptions that capture relevant visual features in the image. We demonstrate the utility of GIST by fine-tuning vision-language models on the image-and-generated-text pairs to learn an aligned vision-language representation space for improved classification. We evaluate our learned representation space in full-shot and few-shot scenarios across four diverse fine-grained classification datasets, each from a different domain. Our method achieves an average improvement of $4.1\%$ in accuracy over CLIP linear probes and an average of $1.1\%$ improvement in accuracy over the previous state-of-the-art image-text classification method on the full-shot datasets. Our method achieves similar improvements across few-shot regimes. Code is available at https://github.com/emu1729/GIST.

研究の動機と目的

• 細分化された分類タスクにおけるビジョン・ランゲージモデルの微調整に必要なペアド画像-テキストデータが限られているという課題に対処すること。
• ドメイン固有のプロンプトを用いて大規模言語モデルを用いて、多様でクラス固有かつ細分化されたテキスト記述を生成すること。
• 事前学習済みのビジョン・ランゲージモデル（CLIP）を用いて、視覚的・意味的類似性に基づき、各画像に対して最も関連性が高くラベルを保持する記述にマッチングすること。
• 自動生成された画像-テキストペアを用いてCLIPを微調整することで、ゼロショットおよびフェイシショット分類精度を向上させること。
• 皮膚科、鳥類、花、航空機など多様な分野において一貫した性能向上を示すこと。

提案手法

• ドメイン固有のプロンプト（例：「メスのウェスタン・メイドラークはどんな外見をしていますか？」）を用いて、大規模言語モデル（GPT）で各クラスの多様で細分化されたキャプションを生成する。
• 事前学習済みのビジョン・ランゲージモデル（CLIP）を用いて、視覚的・意味的類似性に基づき、各トレーニング画像に対して最も関連性が高くラベルを保持するキャプションにマッチングする。
• マッチングされたキャプションを要約し、CLIPの微調整に適した簡潔で情報豊富な記述にまとめる。
• 生成された画像-テキストペアを用いて対照学習を用いてCLIPを微調整し、視覚的表現空間と言語的表現空間を整合させる。
• 得られた整合済み表現を、フルショットおよびフェイシショットの画像分類に用いる。
• 微調整されたCLIPの性能を、視覚的グランドイングモデル（GIT）などの代替手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルのドメイン固有のプロンプト入力により、汎用的プロンプトよりもより判別力があり細分化されたキャプションを生成できるか？
• RQ2 CLIPを用いて画像固有のキャプションを画像にマッチングさせることで、下流の細分化分類性能が向上するか？
• RQ3 1枚の画像あたりのキャプション数やキャプションの長さは、分類精度にどのように影響するか？
• RQ4 GISTが生成した画像-テキストペアは、多様な細分化データセットにおいて、フルショットおよびフェイシショットの両設定で一貫して性能向上をもたらすか？
• RQ5 GISTが生成したペアを用いてCLIPを微調整することは、同じデータで視覚的グランドイングモデル（GIT）を微調整するのと比べて、どのように異なるか？

主な発見

• GISTは、4つの細分化分類ベンチマークにおいて、フルショットデータセットでCLIP線形プローブ比で平均4.1%の精度向上を達成した。
• GISTは、フルショットデータセットにおいて、以前の最先端の画像-テキスト分類手法よりも平均1.1%の精度向上を達成した。
• フェイシショット設定でも同様の性能向上を達成し、5ショットのFitzpatrick40ではトップ1精度が44.10%に上昇したのに対し、GITは24.02%であった。
• 元のGPTが生成したキャプションを短縮することで、長く編集されていない記述を使用する場合よりも、下流の分類性能が向上した。
• GISTが生成したペアを用いてCLIPを微調整することは、同じ画像-テキストペアを用いて視覚的グランドイングモデルGITを微調整するのを上回り、特にデータが少ない状況で顕著な優位性を示した。
• 皮膚科（Fitzpatrick40）、鳥類（CUB200-2011）、花（Flowers102）、航空機（FGVC-Aircraft）など多様な分野において、本手法は頑健な性能を示した。