[論文レビュー] LoCoOp: Few-Shot Out-of-Distribution Detection via Prompt Learning

Atsuyuki Miyai, Qing Yu+2 more|arXiv (Cornell University)|Jun 2, 2023

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

LoCoOpは、CLIPプロンプトを用いた局所特徴をOODキューとして扱うことで、 few-shot OOD検出を実現する局所正則化コンテキスト最適化を導入します。訓練時にCLIP局所特徴をOODの手掛かりとして扱うことで、OOD分離を改善します。0-shot、完全監視、従来のプロンプト学習手法をImageNetベンチマークで上回り、クラスあたり1ショットでも優位性を示します。

ABSTRACT

We present a novel vision-language prompt learning approach for few-shot out-of-distribution (OOD) detection. Few-shot OOD detection aims to detect OOD images from classes that are unseen during training using only a few labeled in-distribution (ID) images. While prompt learning methods such as CoOp have shown effectiveness and efficiency in few-shot ID classification, they still face limitations in OOD detection due to the potential presence of ID-irrelevant information in text embeddings. To address this issue, we introduce a new approach called Local regularized Context Optimization (LoCoOp), which performs OOD regularization that utilizes the portions of CLIP local features as OOD features during training. CLIP's local features have a lot of ID-irrelevant nuisances (e.g., backgrounds), and by learning to push them away from the ID class text embeddings, we can remove the nuisances in the ID class text embeddings and enhance the separation between ID and OOD. Experiments on the large-scale ImageNet OOD detection benchmarks demonstrate the superiority of our LoCoOp over zero-shot, fully supervised detection methods and prompt learning methods. Notably, even in a one-shot setting -- just one label per class, LoCoOp outperforms existing zero-shot and fully supervised detection methods. The code will be available via https://github.com/AtsuMiyai/LoCoOp.

研究の動機と目的

• 従来のゼロショットおよび完全監視のOOD検出手法のfew-shot regimeにおける限界を動機づけて対処する。
• CLIPの局所特徴を活用してprompt学習時にID関連が薄い領域を識別・正則化する。
• ID/OOD分離を改善するCoOpスタイルプロンプトに適合したシンプルで効率的なOOD正則化手法を開発する。
• さまざまなショット設定における大規模ImageNet OODベンチマークで強力な性能向上を示す。

提案手法

• LoCal正則化済みContext Optimization (LoCoOp)を採用し、CLIP局所特徴をOODキューとしてOOD正則化を行う。
• 局所CLIP特徴とIDクラステキスト埋め込みの region-wise alignmentを評価することで、ID非関連領域（背景領域）を識別する（ランキングベースのトップK手法）。
• 推定領域スコアに対してエントロピー最大化をOOD正則化損失として適用し、ID非関連領域をIDテキスト埋め込みから離す。
• 全体画像に対する標準のCoOp損失とOOD正則化項を組み合わせる（L = L_CoOp + lambda * L_OOD）。
• テスト時には最終的なOOD検出のためにMCMとGL-MCMスコア（グローバルおよび局所特徴）を使用する。

実験結果

リサーチクエスチョン

• RQ1 LoCoOpは局所特徴を用いたID非関連領域を正則化することで、few-shot CLIPベースのOOD検出を改善できるか？
• RQ2 ID非関連領域のランクベース識別は、他の閾値設定戦略と比較してOOD識別にどのような影響を与えるか？
• RQ3 ハイパーパラメータK（トップK領域）とlambda（OOD損失ウェイト）のOOD性能への影響はどの程度か？
• RQ4 LoCoOpはImageNetベースのOODベンチマークにおいて、ゼロショット、完全監視、他のプロンプト学習ベースと比較してどの程度性能を示すか？

主な発見

Method	iNaturalist FPR95	iNaturalist AUROC	SUN FPR95	SUN AUROC	Places FPR95	Places AUROC	Texture FPR95	Texture AUROC	Average FPR95	Average AUROC
LoCoOp GL (ours)	24.61	94.89	25.62	94.59	34.00	92.12	49.86	87.49	33.52	92.14

• GL-MCMを用いたLoCoOpはImageNet OODベンチマークで競合手法を上回る優れたOOD検出性能を示す。
• 16-shot設定でLoCoOp GLはAUROC 93.52%を達成し、他を全て上回る（92%を超える手法はなし）。
• 1-shot設定ではLoCoOp GLが優れた平均FPR95とAUROCを達成（33.52と92.14、いずれもゼロショットや一部の完全監視手法を上回る）。
• LoCoOpはK値の範囲（0や1000のような極端を除く）で性能を維持する。
• LoCoOpはPer-image prompt手法（例：CoCoOp）より推論が速く、いくつかのベースラインよりID精度のトレードオフが良い。
• GL-MCMとLoCoOpを組み合わせると、特に局所特徴正則化と組み合わせた場合にMCMに対して顕著な利得を得られる。