[論文レビュー] SegCLIP: Patch Aggregation with Learnable Centers for Open-Vocabulary Semantic Segmentation

Huaishao Luo, Junwei Lucas Bao+3 more|arXiv (Cornell University)|Nov 27, 2022

Multimodal Machine Learning Applications被引用数 27

ひとこと要約

SegCLIPは、学習可能なセマンティックグループ中心を用いたプラグイン方式のCLIPベースの意味的セグメンテーションモデルを提案します。パッチを不規則な意味領域へグループ化するセンターを持ち、再構成損失と超ピクセルKL損失に加えて対照学習損失で訓練します。マスク提案なしでVOC、Context、COCOで競争力のあるmIoUを達成します。

ABSTRACT

Recently, the contrastive language-image pre-training, e.g., CLIP, has demonstrated promising results on various downstream tasks. The pre-trained model can capture enriched visual concepts for images by learning from a large scale of text-image data. However, transferring the learned visual knowledge to open-vocabulary semantic segmentation is still under-explored. In this paper, we propose a CLIP-based model named SegCLIP for the topic of open-vocabulary segmentation in an annotation-free manner. The SegCLIP achieves segmentation based on ViT and the main idea is to gather patches with learnable centers to semantic regions through training on text-image pairs. The gathering operation can dynamically capture the semantic groups, which can be used to generate the final segmentation results. We further propose a reconstruction loss on masked patches and a superpixel-based KL loss with pseudo-labels to enhance the visual representation. Experimental results show that our model achieves comparable or superior segmentation accuracy on the PASCAL VOC 2012 (+0.3% mIoU), PASCAL Context (+2.3% mIoU), and COCO (+2.2% mIoU) compared with baselines. We release the code at https://github.com/ArrowLuo/SegCLIP.

研究の動機と目的

• ピクセルレベルのラベルや固定語彙なしでオープンボキャブラリ意味的セグメンテーションを動機づける。
• CLIPを活用し、パッチを意味領域へ集約するセマンティックグループモジュールを挿入する。
• 再構成と超ピクセルベースのKL損失で視覚表現を強化する。
• CLIPの事前学習から標準データセット上でのセグメンテーションへの移行を示す。

提案手法

• cross-attentionとGumbel-Softmaxからのマッピング行列Mを介してパッチを意味領域へ集約するL個の学習可能センターを作成するプラグイン型セマンティックグループモジュールを用いたViTベースのCLIPバックボーンを使用する。
• センターと画像パッチ間のクロスアテンションを介して文脈的センターを生成する；パッチをセンターに割り当てるMを計算し、下流のTransformer層の領域表現を導出する。
• 対照学習損失（CLIP風）、不規則領域MAE風のプロセスを介したマスクされたパッチの再構成損失、および一貫したパッチ領域マッピングを促す超ピクセルベースのKL損失の組み合わせで学習する。
• 推論は候補ラベルで埋められたテキストプロンプトを使用し、領域表現とラベル埋め込みとの類似性を計算して補間を通じてピクセルレベルのセグメンテーションを生成する。

実験結果

リサーチクエスチョン

• RQ1 SegCLIPはセグメンテーション特定の監督なしでCLIPの重みを再利用してオープンボキャブラリ意味的セグメンテーションを達成できるか。
• RQ2 学習可能なパッチ中心化（セマンティックグループ）アプローチはオープンボキャブラリラベリングに適した一貫した不規則形状のセグメントを生み出すか。
• RQ3 再構成と超ピクセルベースのKL損失は対照学習のみよりセグメンテーション品質を改善するか。

主な発見

Arch.	Init.	Training Data	Sup.	Zero-Shot	VOC	Context	COCO
SegCLIP	6	-	-	-	35.28	19.28	16.73
SegCLIP	8	CC+COCO	Text	✓	43.75	22.71	21.40
SegCLIP	10	CC+COCO	Text	✓	47.95	23.43	24.86
SegCLIP	11	CC+COCO	Text	✓	22.07	10.76	12.08

• SegCLIPはVOC、Context、COCOでmIoUを改善し、CC+COCOから初期化し提案損失で訓練した場合、特定の設定で52.60/24.71/26.45を達成（表を参照）
• 再構成損失はKL損失と組み合わせるとmIoUを著しく改善（例：VOCで+1.19〜+4.11、条件に応じて）
• 超ピクセルベースのKL損失は、再構成損失を用いた場合を特に含む全データセットでmIoUを一貫して改善
• クロスアテンションと挿入層数は性能に影響を与える；約10層の挿入層、8センター、2つのクロスアテンション層で強力な結果
• 事前学習済みCLIPで初期化すると、ゼロショット/訓練なしの性能が大幅に向上（例：VOC、Context、COCOの獲得）
• SegCLIPは追加のセグメンテーション特有の訓練なしで候補ラベルを用いて評価する場合、ゼロショット/open-vocabularyセグメンテーションを行える