[論文レビュー] Delving into Multimodal Prompting for Fine-grained Visual Classification

Jiang Xin, Hao Tang+4 more|arXiv (Cornell University)|Sep 16, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、サブカテゴリ固有のビジョンおよび乖離に配慮したテキストプロンプトを用いてCLIPモデルを活用することで、微細分類の性能を向上させる、新しいマルチモーダルプロンプティングフレームワークMP-FGVCを提案する。4つのFGVCベンチマークで最先端の性能を達成し、最小限の適応で実現した。

ABSTRACT

Fine-grained visual classification (FGVC) involves categorizing fine subdivisions within a broader category, which poses challenges due to subtle inter-class discrepancies and large intra-class variations. However, prevailing approaches primarily focus on uni-modal visual concepts. Recent advancements in pre-trained vision-language models have demonstrated remarkable performance in various high-level vision tasks, yet the applicability of such models to FGVC tasks remains uncertain. In this paper, we aim to fully exploit the capabilities of cross-modal description to tackle FGVC tasks and propose a novel multimodal prompting solution, denoted as MP-FGVC, based on the contrastive language-image pertaining (CLIP) model. Our MP-FGVC comprises a multimodal prompts scheme and a multimodal adaptation scheme. The former includes Subcategory-specific Vision Prompt (SsVP) and Discrepancy-aware Text Prompt (DaTP), which explicitly highlights the subcategory-specific discrepancies from the perspectives of both vision and language. The latter aligns the vision and text prompting elements in a common semantic space, facilitating cross-modal collaborative reasoning through a Vision-Language Fusion Module (VLFM) for further improvement on FGVC. Moreover, we tailor a two-stage optimization strategy for MP-FGVC to fully leverage the pre-trained CLIP model and expedite efficient adaptation for FGVC. Extensive experiments conducted on four FGVC datasets demonstrate the effectiveness of our MP-FGVC.

研究の動機と目的

• 微細分類の認識を妨げる、クラス間の微細な差異とクラス内での大きな変異性に起因する、微細分類視覚認識の困難に取り組む。
• 上位カテゴリの意味的特徴に焦点を当てている一方で、サブカテゴリ固有の詳細にまで対応できない現行の事前学習済みビジョン・ランゲージモデル（例：CLIP）の可能性を検討する。
• ビジョンと言語の両モalityを用いて、サブカテゴリ固有の差異を明示的に強調するマルチモーダルプロンプティングソリューションを開発する。
• ビジョン・ランゲージ統合モジュール（VLFM）を介して、統一された意味的空間でビジョンと言語のプロンプトの効果的な協調を実現する。
• CLIPの事前学習済み能力を保持しつつ、FGVCに特化した微調整を効果的に行うために、二段階訓練戦略を最適化する。

提案手法

• サブカテゴリ固有の視覚特徴を強調するために、重要度順序付け機構を用いて最も顕著な画像パッチ（k=14）を選択するサブカテゴリ固有ビジョンプロンプト（SsVP）を導入する。
• スーパーカテゴリ名から適応してサブカテゴリ固有の記述を生成する、学習可能なテキストテンプレート（J=16トークン）である乖離に配慮したテキストプロンプト（DaTP）を提案する。
• ビジョンとテキストプロンプトを共通の意味的空間にアライメント・統合することで、クロスモーダル推論を可能にするビジョン・ランゲージ統合モジュール（VLFM）を設計する。
• 二段階訓練戦略を実装する：第一段階では、CLIPの画像およびテキストエンコーダーを固定した上でSsVPおよびDaTPを学習する。第二段階では、モデル全体をエンドツーエンドで微調整する。
• 対照的学習の目的関数を用いて、画像とテキスト表現を整列させ、サブカテゴリを識別する特徴を学習する。
• GradCAMの可視化を用いて注目マップを分析し、MP-FGVCが頭部、翼、尾部の色などサブカテゴリ特徴を示す領域に注目を集中させることを検証する。

実験結果

リサーチクエスチョン

• RQ1 サブカテゴリ固有の視覚的および言語的キューを活用することで、CLIPのような事前学習済みビジョン・ランゲージモデルが微細分類に効果的に適応可能か。
• RQ2 ビジョンと言語のプロンプトをどのように共同で設計すれば、微細分類における微細なクラス間差異を強調できるか。
• RQ3 パフォーマンスを最大化しつつ、過学習やノイズの導入を避けるために、プロンプトにおける視覚的およびテキスト的トークンの最適数は何か。
• RQ4 二段階訓練戦略は、CLIPの事前学習知識を保持しつつ、FGVCに効果的に微調整できるか、それともエンドツーエンド訓練を上回るか。
• RQ5 提案されたマルチモーダルプロンプティングフレームワークは、最小限のアーキテクチャ変更で、多様なFGVCデータセットにおいて一貫した性能向上を達成できるか。

主な発見

• MP-FGVCは、CUB-200-2011、NABirds、Stanford Cars、FG-Wildの4つの標準的FGVCベンチマークで最先端のパフォーマンスを達成し、ベースライン手法を上回る一貫した向上を示した。
• アブレーションスタディにより、SsVPおよびDaTPの両方が不可欠であることが確認された。いずれかのコンponentを除去すると、顕著な性能低下が生じ、それらの補完的役割が裏付けられた。
• 最適なハイパーパrameterは、視覚的トークン数k=14、テキストトークン数J=16である。これらの値が14および32を超えると性能が低下し、表現力とノイズのトレードオフが示された。
• 二段階訓練戦略は、一段階訓練を著しく上回った。初期段階でのテキストプロンプトのランダム初期化は最適化を妨げ、局所最適解への収束を引き起こした。
• 可視化結果から、MP-FGVCが頭部、背中、腹部、翼などサブカテゴリ特徴を示す領域に注目を集中させることを確認した。これにより、特徴の局所化が向上したことが裏付けられた。
• 本手法はプロンプトテンプレートの変化に対して頑健であり、「a photo of a」の接頭辞やサブカテゴリ名の接尾辞を用いても、性能低下が最小限に抑えられ、汎化能力が裏付けられた。