[論文レビュー] Vocabulary-free Image Classification

Alessandro Conti, Enrico Fini+4 more|arXiv (Cornell University)|Jun 1, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、事前定義された語彙に依存せずに、制約のない意味的空間に画像を分類する新しいタスクである語彙フリー画像分類（VIC）を紹介する。著者らは、外部の視覚言語データベースから意味的に類似したキャプションを検索し、CLIPを用いて画像を最も適切な候補カテゴリにマッチングする、トレーニングフリーの手法CaSEDを提案した。この手法は、最小限の計算コストで、ベンチマーク全体で最先端の性能を達成した。

ABSTRACT

Recent advances in large vision-language models have revolutionized the image classification paradigm. Despite showing impressive zero-shot capabilities, a pre-defined set of categories, a.k.a. the vocabulary, is assumed at test time for composing the textual prompts. However, such assumption can be impractical when the semantic context is unknown and evolving. We thus formalize a novel task, termed as Vocabulary-free Image Classification (VIC), where we aim to assign to an input image a class that resides in an unconstrained language-induced semantic space, without the prerequisite of a known vocabulary. VIC is a challenging task as the semantic space is extremely large, containing millions of concepts, with hard-to-discriminate fine-grained categories. In this work, we first empirically verify that representing this semantic space by means of an external vision-language database is the most effective way to obtain semantically relevant content for classifying the image. We then propose Category Search from External Databases (CaSED), a method that exploits a pre-trained vision-language model and an external vision-language database to address VIC in a training-free manner. CaSED first extracts a set of candidate categories from captions retrieved from the database based on their semantic similarity to the image, and then assigns to the image the best matching candidate category according to the same vision-language model. Experiments on benchmark datasets validate that CaSED outperforms other complex vision-language frameworks, while being efficient with much fewer parameters, paving the way for future research in this direction.

研究の動機と目的

• 事前定義された静的語彙が不要な新しい画像分類タスク、語彙フリー画像分類（VIC）を形式化すること。
• 数百万もの微細な概念と変化し続ける概念を含む、膨大で制約のない意味的空間への画像分類の課題に対処すること。
• 微調整や追加のトレーニングを一切行わず、計算効率と柔軟性を確保する手法を開発すること。
• 固定語彙が存在しない状況下で、予測された意味的クラスと真値の意味的クラスの整合性を正確に測定できる評価指標を提案すること。
• 外部の視覚言語データベースが、固定語彙のないゼロショット分類設定において、キャプション強化VLMよりも強力な意味的事前知識を提供することを示すこと。

提案手法

• CaSEDは、CLIPの視覚エンコーダーを用いて、入力画像と意味的に類似したキャプションを外部視覚言語データベースから検索する。
• テキスト解析とノイズおよび関係のない語の除去を経て、検出されたキャプションから候補カテゴリを抽出する。
• 入力画像と各候補カテゴリ間のマルチモーダル類似度スコアを、CLIPの統合視覚・言語埋め込み空間を用いて計算し、最終的な分類予測を行う。
• トレーニングフリーのアプローチであり、パラメータの更新や微調整を一切行わず、事前学習済みのCLIPと外部データベースに依存する。
• 現代の視覚言語データベース（例：PMD、CC12M）のスケールの大きなカバレッジを活用し、微細なカテゴリを含む多様な意味的概念を探索する。
• 検索キャプション数を制御することでパフォーマンスを最適化でき、10〜20枚を超えると、関連性の低い結果によるノイズの影響で性能が飽和またはわずかに低下する。

実験結果

リサーチクエスチョン

• RQ1 外部の視覚言語データベースは、制約のない意味的空間におけるゼロショット画像分類のための効果的な意味的事前知識として機能できるか？
• RQ2 視覚言語データベースのサイズと品質は、語彙フリー画像分類のパフォーマンスにどのように影響するか？
• RQ3 トレーニングフリーの手法が、固定語彙のない状況下で、複雑な微調整済み視覚言語モデルを上回ることができるか？
• RQ4 候補生成段階で意味的カバレッジとノイズのバランスをとる最適な検索キャプション数は何か？
• RQ5 固定語彙が存在しない状況で、予測ラベルと真値ラベルの意味的整合性をどのように評価できるか？

主な発見

• CaSEDは、粗い粒度（Caltech-101、UCF101）および微細な粒度（FGVC-Aircraft、Flowers-102）の両方の分類タスクにおいて、BLIP-2を含む複雑で微調整済みの視覚言語モデルをすべてのベンチマークデータセットで上回った。
• より大規模かつ高品質な視覚言語データベースを用いることでパフォーマンスが向上し、CC12MとRedcapsは、YFCC100Mの完全なサブセットと同等またはそれを上回る結果を示した。
• YFCC100Mサブセットを用いた場合、クラスタ精度で+8.9%の向上を達成し、データベースの品質が与える影響を明確に示した。
• 10〜20枚のキャプションを検索した後は性能が飽和し、K=20でわずかな類似度の低下が観察された。これは、限界効果と関連性の低いキャプションによるノイズの影響を示している。
• 追加のトレーニングやパラメータの更新が一切不要なため、計算コストを最小限に抑え、非常に効率的かつスケーラブルな状態で最先端の結果を達成した。
• 外部データベースの広範なカバレッジを活用することで、微細なカテゴリを含む多様な意味的空間において、強力なロバストネスを示した。