[論文レビュー] Zero-Shot Open Set Detection by Extending CLIP

Sepideh Esmaeilpour, Bing Liu+2 more|arXiv (Cornell University)|Sep 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 5

ひとこと要約

本稿では、推論時に未知クラス名の候補を生成するテキストベースの画像記述生成モデルをCLIPに拡張することで、既知のクラスの学習データが一切不要なゼロショットオープンセット検出手法であるZO-CLIPを提案する。既知クラスと生成された未知クラス名の両方の信頼度スコアを組み合わせることで、5つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

In a regular open set detection problem, samples of known classes (also called closed set classes) are used to train a special classifier. In testing, the classifier can (1) classify the test samples of known classes to their respective classes and (2) also detect samples that do not belong to any of the known classes (we say they belong to some unknown or open set classes). This paper studies the problem of zero-shot open-set detection, which still performs the same two tasks in testing but has no training except using the given known class names. This paper proposes a novel and yet simple method (called ZO-CLIP) to solve the problem. ZO-CLIP builds on top of the recent advances in zero-shot classification through multi-modal representation learning. It first extends the pre-trained multi-modal model CLIP by training a text-based image description generator on top of CLIP. In testing, it uses the extended model to generate some candidate unknown class names for each test sample and computes a confidence score based on both the known class names and candidate unknown class names for zero-shot open set detection. Experimental results on 5 benchmark datasets for open set detection confirm that ZO-CLIP outperforms the baselines by a large margin.

研究の動機と目的

• 既知クラスの学習データが一切ない状況におけるゼロショットオープンセット検出の課題に対処すること。
• トレーニング時にそれらのクラスに事前に露出されていない状況でも、推論時に未知クラスを検出できるようにすること。
• テストサンプルに対して妥当な未知クラス名を生成することで、ゼロショットオープンセット検出の性能を向上させること。
• CLIPの能力をゼロショット分類の範囲を超えて、合成されたクラス名生成を通じたオープンセット推論を組み込むこと。

提案手法

• 事前学習済みCLIPモデルの上に、テキストベースの画像記述生成モデルをファインチューニングし、各テスト画像に対して候補となる未知クラス名を生成する。
• 拡張されたCLIPモデルを用いて、既知クラス名と生成された候補未知クラス名を共通の埋め込み空間に符号化する。
• 各既知クラスに対して信頼度スコアを計算し、候補未知クラス名のスコアを集約してオープンネスを評価する。
• すべての既知クラスおよび候補未知クラス名の最大信頼度スコアにしきい値を適用し、オープンセットサンプルを検出する。
• CLIPのマルチモodalなアライメントを活用して、生成されたクラス名が入力画像と意味的に関連していることを保証する。
• 生成されたテキストと視覚的特徴が一致するように、対照的学習の目的関数を用いて画像記述生成モデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みマルチモーダルモデル（例：CLIP）を、既知クラスの学習データが一切ない状況でもゼロショットオープンセット検出に拡張できるか？
• RQ2 テキストベースの画像記述生成モデルを用いて候補未知クラス名を生成することは、オープンセット検出の性能向上にどの程度有効か？
• RQ3 既知クラスのスコアと生成された未知クラススコアを組み合わせることで、分布外サンプルの検出が向上するか？
• RQ4 多様なデータセットにおいて、提案手法は既存のベースラインと比較してどの程度のオープンセット検出性能を発揮するか？

主な発見

• ZO-CLIPは、5つのベンチマークデータセットにおいて、既存のベースラインを大きく上回る性能を発揮する。
• 生成された未知クラス名の統合により、モデルの分布外サンプル検出能力が著しく向上する。
• 既知クラスの学習データを一切必要とせず、最先端の性能を達成する。
• ファインチューニングされたテキストベースの画像記述生成モデルを用いることで、候補未知クラス名の多様性と関連性が向上する。
• 信頼度スコアメカニズムにより、学習データが存在しない状況でも、既知クラスと未知クラスを効果的に区別できる。
• 異なるデータ分布やオープンセット検出のシナリオにおいて、本手法は良好な汎化性能を示す。