[論文レビュー] Exploring Open-Vocabulary Semantic Segmentation without Human Labels

Jun Chen, Deyao Zhu+7 more|arXiv (Cornell University)|Jun 1, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

ZeroSegは、人間によるラベルなしで、事前学習済みの視覚言語モデル（例：CLIP）から知識を蒸留することで、オープンボキャブラリー意味セグメンテーションのための新規手法を提示する。マルチスケール特徴の蒸留とセグメントマッチング損失を用いることで、PASCAL VOC 2012（40.8 mIoU）、COCO（20.4 mIoU）、PASCAL Context（20.6 mIoU）で最先端のゼロショット性能を達成し、ターゲットデータセットでの微調整なしで、教師ありモデルや既存のゼロショット手法を上回る性能を発揮する。

ABSTRACT

Semantic segmentation is a crucial task in computer vision that involves segmenting images into semantically meaningful regions at the pixel level. However, existing approaches often rely on expensive human annotations as supervision for model training, limiting their scalability to large, unlabeled datasets. To address this challenge, we present ZeroSeg, a novel method that leverages the existing pretrained vision-language (VL) model (e.g. CLIP) to train open-vocabulary zero-shot semantic segmentation models. Although acquired extensive knowledge of visual concepts, it is non-trivial to exploit knowledge from these VL models to the task of semantic segmentation, as they are usually trained at an image level. ZeroSeg overcomes this by distilling the visual concepts learned by VL models into a set of segment tokens, each summarizing a localized region of the target image. We evaluate ZeroSeg on multiple popular segmentation benchmarks, including PASCAL VOC 2012, PASCAL Context, and COCO, in a zero-shot manner (i.e., no training or adaption on target segmentation datasets). Our approach achieves state-of-the-art performance when compared to other zero-shot segmentation methods under the same training data, while also performing competitively compared to strongly supervised methods. Finally, we also demonstrated the effectiveness of ZeroSeg on open-vocabulary segmentation, through both human studies and qualitative visualizations.

研究の動機と目的

• 高価な人間によるピクセルレベルのラベルに依存せずに、オープンボキャブラリー意味セグメンテーションを可能にすること。
• 画像レベルで事前学習された視覚言語モデル（例：CLIP）から得られる視覚的コンセプト知識を、ピクセルレベルのセグメンテーションタスクに転送すること。
• ピクセル単位の監視を回避しながらも、高いセグメンテーション精度を維持する訓練パラダイムを開発すること。
• 言語的文脈依存性を避けることで、希少語や複合語クラス（例：'bedclothes'、'motorbike'）への一般化を向上させること。
• 一般用途のVLモデルからの蒸留が、教師ありまたは大規模事前学習アプローチと比較して競争力のある性能を発揮できることを示すこと。

提案手法

• 階層的な視覚的特徴を捉えるために、入力画像をマルチスケールの領域に分割する。
• 各領域に対して、事前学習済みのCLIP視覚エンコーダーを用いて画像レベルの意味的特徴を抽出する。
• CLIPの視覚的コンセプトを、マルチスケール特徴の蒸留損失を通じて学習可能なセグメントトークンに蒸留する。
• 各セグメントトークンを意味的に一貫した画像領域と一致させるために、セグメントマッチング損失を適用し、空間的一致性を向上させる。
• 訓練の効率化と特徴表現の向上のため、マスクドオートエンコーダーを採用する。
• ImageNet-1Kの画像のみを用い、人間によるセグメンテーションラベルを一切使用せずに、ZeroSegモデルをエンドツーエンドで訓練する。

Figure 1: ZeroSeg overview. ZeroSeg is a zero-shot open-vocabulary method for semantic segmentation. The approach begins by dividing the input image into a set of multi-scale views. Each view is then individually processed by a pretrained CLIP visual encoder model to extract visual concepts. These v

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位の監視なしで、CLIPのような視覚言語モデルを効果的にゼロショット意味セグメンテーションに活用できるか？
• RQ2 画像レベルで学習された視覚的コンセプトは、どのように局所化されたピクセルレベルのセグメンテーションタスクに転送できるか？
• RQ3 学習されたセグメントトークンを意味的に意味のある画像領域と一致させるために、どの損失関数が最も効果的か？
• RQ4 人間のラベルなしで訓練されたモデルは、希少語や複合語クラスを含むオープンボキャブラリー設定にも一般化できるか？
• RQ5 完全に蒸留に基づく手法の性能は、教師ありまたは大規模事前学習アプローチと比較してどの程度か？

主な発見

• ZeroSegは、ゼロショット設定下でPASCAL VOC 2012で40.8 mIoUを達成し、既存のゼロショット手法を上回る性能を発揮した。
• PASCAL Contextでは20.6 mIoU、COCOでは20.4 mIoUを達成し、多様なデータセットにわたる強力な一般化性能を示した。
• アブレーションスタディの結果、マルチスケールの蒸留とセグメントマッチング損失の両方が不可欠であり、併用することで境界予測が最も正確になった。
• ZeroSegは、GroupViTに比べてサブワードや複合語クラス（例：'bedclothes' で+18.07%）において顕著に優れており、言語的文脈依存性が低減していることが示された。
• 人間のラベルを一切使用せず、130万枚のImageNet-1K画像でのみ学習したにもかかわらず、2000万～2600万枚の画像・テキストペアで事前学習されたモデルや、人間ラベルによる微調整が施されたモデルと同等またはそれ以上の性能を達成した。
• 定性的な結果と人間による評価から、ZeroSegは従来のゼロショット手法よりも正確で空間的一致性の高いセグメンテーションマスクを生成することが確認された。

Figure 2: Training ZeroSeg model. ZeroSeg architecture consists of a ViT encoder and two heads including a decoder head and a segmentation head. The outputs from the decoder head is used to reconstruct the masked input image during training ( i.e . , masked autoencoding [ 21 ] ), while the outputs f