[論文レビュー] DualCoOp: Fast Adaptation to Multi-Label Recognition with Limited Annotations

Ximeng Sun, Ping Hu+1 more|arXiv (Cornell University)|Jun 20, 2022

Text and Document Classification Technologies被引用数 42

ひとこと要約

DualCoOpは、二重の正/負プロンプトとクラス固有の領域特徴集約を活用して、視覚-言語モデル（CLIP）を限られた注釈とゼロショットの状況に適応させ、多ラベル認識を実現します。学習可能パラメータを最小化した状態で最新の結果を達成。

ABSTRACT

Solving multi-label recognition (MLR) for images in the low-label regime is a challenging task with many real-world applications. Recent work learns an alignment between textual and visual spaces to compensate for insufficient image labels, but loses accuracy because of the limited amount of available MLR annotations. In this work, we utilize the strong alignment of textual and visual features pretrained with millions of auxiliary image-text pairs and propose Dual Context Optimization (DualCoOp) as a unified framework for partial-label MLR and zero-shot MLR. DualCoOp encodes positive and negative contexts with class names as part of the linguistic input (i.e. prompts). Since DualCoOp only introduces a very light learnable overhead upon the pretrained vision-language framework, it can quickly adapt to multi-label recognition tasks that have limited annotations and even unseen classes. Experiments on standard multi-label recognition benchmarks across two challenging low-label settings demonstrate the advantages of our approach over state-of-the-art methods.

研究の動機と目的

• 限られた注釈と実用的なゼロショット設定の下で、マルチラベル認識を動機づける。
• 軽量なプロンプト学習を用いて事前学習済みの視覚言語ALIGNMENT（CLIP）を活用する。
• 各クラスごとに頑健な分類器を生成する二重プロンプト（正/負）フレームワークを開発する。
• クラス固有の領域特徴集約によって、複数オブジェクトのシーンの空間モデリングを改善する。
• 部分ラベルおよびゼロショットのMLRベンチマークで高い性能を示す。

提案手法

• CLIPテキストエンコーダに入力される、クラスごとの二重プロンプト（正/負）を用いたDualCoOpを導入する。
• テキスト空間へ射影された領域単位の視覚特徴を計算し、領域ロジットのクラス固有の集約を行う。
• CLIPを凍結したまま、プロンプトのみを訓練するASL損失を用いる。
• 標準のCLIP注意機構プーリングを、空間情報をより適切に捉えるようにクラス固有の領域特徴集約に置き換える。
• 推論時には正ロジットと負ロジットを比較して、画像ごとに各ラベルを予測する。

実験結果

リサーチクエスチョン

• RQ1 限られたラベルで、視覚-言語モデルをどのように効率的に多ラベル認識へ適応させるか？
• RQ2 二重プロンプト（正/負）は、MLRにおける存在ラベルと不在ラベルの判別を改善するか？
• RQ3 クラス固有の空間的集約は、標準的なアテンションプーリングよりも多ラベル認識を改善できるか？
• RQ4 部分ラベルMLRおよびゼロショットMLR設定におけるDualCoOpの性能は、最先端と比較してどうか？
• RQ5 データセットを横断して、最小の学習可能パラメータでアプローチはスケール可能か？

主な発見

手法	#P	10%	20%	30%	40%	50%	60%	70%	80%	90%	平均
SSGRL	64.7M	62.5	70.5	73.2	74.5	76.3	76.5	77.1	77.9	78.4	74.1
GCN-ML	44.9M	63.8	70.9	72.8	74.0	76.7	77.1	77.3	78.3	78.6	74.4
KGGR	≥25M	66.6	71.4	73.8	76.7	77.5	77.9	78.4	78.7	79.1	75.6
Curriculum labeling	≥38M	26.7	31.8	51.5	65.4	70.0	71.9	74.0	77.4	78.0	60.7
Partial BCE	≥38M	61.6	70.5	74.1	76.3	77.2	77.7	78.2	78.4	78.5	74.7
SST	33.5M	68.1	73.5	75.9	77.3	78.1	78.9	79.2	79.6	79.9	76.7
SST*	33.5M	69.1	78.5	79.3	79.9	80.1	80.5	81.1	80.7	80.7	78.9
SARB	29.6M	71.2	75.0	77.1	78.3	78.9	79.6	79.8	80.5	80.5	77.9
SARB*	29.6M	75.5	78.5	79.0	79.5	80.4	80.2	80.8	80.6	80.8	79.4
DualCoOp (ours)	1.3M	78.7	80.9	81.7	82.0	82.5	82.7	82.8	83.0	83.1	81.9

• DualCoOpは、最小限の学習可能パラメータ（1.3M）で、MS-COCOとVOC2007の部分ラベル設定において最良のmAPを達成。
• VOC2007では、10%ラベリング時に2位手法より6.8ポイントのmAP向上。
• MS-COCOおよびNUS-WIDEのゼロショットMLRで、Top-3/Top-5のF1で最高結果を出し、パラメータオーバーヘッドは非常に小さい（0.02M）。
• クラス固有の領域特徴集約は、標準のCLIP注意プーリングよりも優れており、特に高解像度入力で効果を発揮する。
• 正と負の二重プロンプトは、下流の分類性能を高める補完的なテキスト文脈を提供する。