[論文レビュー] Data-free Multi-label Image Recognition via LLM-powered Prompt Tuning

Shuo Yang, Zirui Shang+5 more|ArXiv.org|Mar 2, 2024

Text and Document Classification Technologies被引用数 4

ひとこと要約

本稿では、事前学習されたLLM（例：ChatGLM）を活用してオブジェクトの属性や関係性に関する豊富なテキスト記述を生成し、その記述を用いて訓練データを一切使用せずにCLIPのファインチューニングに適した階層的プロンプトを学習する、データフリーなマルチラベル画像認識フレームワークを提案する。本手法は最先端の性能を達成し、MS-COCOでゼロショット手法を4.7% mAP上回る。これは、データが乏しい状況下でもLLM駆動のプロンプトチューニングの有効性を示している。

ABSTRACT

This paper proposes a novel framework for multi-label image recognition without any training data, called data-free framework, which uses knowledge of pre-trained Large Language Model (LLM) to learn prompts to adapt pretrained Vision-Language Model (VLM) like CLIP to multilabel classification. Through asking LLM by well-designed questions, we acquire comprehensive knowledge about characteristics and contexts of objects, which provides valuable text descriptions for learning prompts. Then we propose a hierarchical prompt learning method by taking the multi-label dependency into consideration, wherein a subset of category-specific prompt tokens are shared when the corresponding objects exhibit similar attributes or are more likely to co-occur. Benefiting from the remarkable alignment between visual and linguistic semantics of CLIP, the hierarchical prompts learned from text descriptions are applied to perform classification of images during inference. Our framework presents a new way to explore the synergies between multiple pre-trained models for novel category recognition. Extensive experiments on three public datasets (MS-COCO, VOC2007, and NUS-WIDE) demonstrate that our method achieves better results than the state-of-the-art methods, especially outperforming the zero-shot multi-label recognition methods by 4.7% in mAP on MS-COCO.

研究の動機と目的

• 訓練データが利用できない状況下で、新しいオブジェクトカテゴリの認識を可能にする挑戦に取り組む。
• 事前学習済みの視覚言語モデル（CLIP）と大規模言語モデル（LLM）の相乗効果を活用し、ゼロショット適応を実現する。
• オブジェクトの関係性や共有属性をプロンプト学習に組み込むことで、マルチラベル認識の性能を向上させる。
• アノテーション付き画像を必要とせず、LLMが生成した知識を活用するプロンプトチューニング戦略を開発する。

提案手法

• オブジェクトの属性や文脈的情報を包括的に抽出できるよう、カテゴリに依存しない、カテゴリ固有の、関係性に基づく多様な質問形式をLLMに提示する。
• LLMをサーヴィェイントトレーニングデータとして用い、オブジェクトの属性（例：形状、色、素材）およびオブジェクト間の関係（例：シーン内での共起）の豊富なテキスト記述を生成する。
• グローバルに共有するトークン、共起／類似カテゴリに部分的に共有するトークン、カテゴリ固有のトークンの3種類のトークンタイプを持つ階層的プロンプト学習法を提案する。
• LLMが生成したテキスト記述を教師信号として用い、CLIPの視覚的・言語的整合性を活用して階層的プロンプトを訓練する。
• グローバルおよびローカルのプロンプトブランチを学習可能な重みで統合し、共有知識と固有知識のバランスを最適化する。
• 実際の画像データに対するファインチューニングを一切行わず、推論時に学習済みのプロンプトを用いて画像を分類する。

実験結果

リサーチクエスチョン

• RQ1 LLMが生成するテキスト的知識は、マルチラベル画像認識におけるプロンプトチューニングの代替として、実際の訓練データとして効果的か？
• RQ2 オブジェクトの関係性や共有属性を、効果的に学習可能なプロンプトに統合する方法は何か？
• RQ3 マルチラベル依存関係を捉えるために最適なプロンプトトークンの階層的構造（グローバル、部分的に共有、カテゴリ固有）は何か？
• RQ4 人間が作成したキャプションや実際の訓練データを用いる手法と比較して、LLM駆動のプロンプトチューニングの性能はどの程度か？

主な発見

• 本手法はMS-COCOで66.8 mAPを達成し、以前の最先端のゼロショット手法を4.7% mAP上回り、強力なデータフリー性能を示した。
• VOC2007、MS-COCO、NUS-WIDEのすべての非教師ありおよびラベルなし訓練ベースラインを上回り、LLMが生成した知識の価値を裏付けた。
• プロンプトトークン数の変動に対しても性能が安定しており、最適な性能は全32トークンで達成され、それ以上になると性能が低下した。
• グローバルプロンプトの重みが0.65のときにグローバルとローカルのプロンプトブランチの最適なバランスが達成されており、グローバルプロンプトの主導的かつ補完的な役割を示している。
• 定性的な分析から、階層的プロンプトは小さなまたは曖昧なオブジェクトの予測を改善することがわかったが、人間の事前知識を活用したハンドクラフトプロンプトは特定の状況では依然として優れている。
• 完全に教師ありの手法と比較してやや性能が低いが、これはCLIPの事前学習データと下流タスクとの間のドメインギャップが原因であると考えられる。