[論文レビュー] ACSeg: Adaptive Conceptualization for Unsupervised Semantic Segmentation

Kehan Li, Zhennan Wang+7 more|arXiv (Cornell University)|Oct 12, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

ACSegは、自己教師付きViT特徴からのピクセルレベル表現を動的にクラスタリングするための、学習可能なプロトタイプと適応的コンセプト生成器（ACG）を用いた、教師なしセマンティックセグメンテーションのための適応的コンセプチュアルフレームワークを提案する。モジュラリティ損失を最適化することで、コンセプト数の適応的カウントが可能となり、PASCAL VOC 2012およびCOCO-Stuffでアノテーションなしに最先端の性能を達成し、クラスタリングおよびゼロショット分類の両設定で先行手法を上回った。

ABSTRACT

Recently, self-supervised large-scale visual pre-training models have shown great promise in representing pixel-level semantic relationships, significantly promoting the development of unsupervised dense prediction tasks, e.g., unsupervised semantic segmentation (USS). The extracted relationship among pixel-level representations typically contains rich class-aware information that semantically identical pixel embeddings in the representation space gather together to form sophisticated concepts. However, leveraging the learned models to ascertain semantically consistent pixel groups or regions in the image is non-trivial since over/ under-clustering overwhelms the conceptualization procedure under various semantic distributions of different images. In this work, we investigate the pixel-level semantic aggregation in self-supervised ViT pre-trained models as image Segmentation and propose the Adaptive Conceptualization approach for USS, termed ACSeg. Concretely, we explicitly encode concepts into learnable prototypes and design the Adaptive Concept Generator (ACG), which adaptively maps these prototypes to informative concepts for each image. Meanwhile, considering the scene complexity of different images, we propose the modularity loss to optimize ACG independent of the concept number based on estimating the intensity of pixel pairs belonging to the same concept. Finally, we turn the USS task into classifying the discovered concepts in an unsupervised manner. Extensive experiments with state-of-the-art results demonstrate the effectiveness of the proposed ACSeg.

研究の動機と目的

• 画像間のシーンの複雑さやセマンティック分布のばらつきに起因するクラスタリングの一貫性の欠如という課題に対処すること。
• 固定されたクラスタ数やアノテーションを必要とせず、ピクセルレベル表現における意味的に整合性のあるコンセプト（領域）の適応的発見を可能にすること。
• 視覚言語モデルを用いた分類に適した局所化された領域レベル表現を生成することで、ゼロショットセマンティックセグメンテーションを向上させること。
• 画像ごとに変動するコンセプト数をサポートしつつも、頑健性と効率性を維持する訓練目的を設計すること。

提案手法

• 本手法は、表現空間に意味的コンセプトを明示的に符号化するための学習可能なプロトタイプを導入する。
• 適応的コンセプト生成器（ACG）は、ピクセルレベル特徴とプロトタイプの間でスケールドドットプロダクトアテンションを用いて、画像ごとにこれらのプロトタイプを動的に更新する。
• ACGは、コンセプト数に依存せずに、類似度の高いピクセルペアが同じコンセプトにグループ化されるよう促進する、新しいモジュラリティ損失を用いて端末からエンドまで訓練される。
• モジュラリティ損失は、ピクセル表現の類似度グラフ上で計算され、ピクセル間の接続強度を意味的類似度の代理としてモデル化する。
• コンセプト発見後、セグメンテーションタスクはk-NN分類器やCLIPなどの視覚言語モデルを用いてこれらのコンセプトを分類することで定式化される。
• このフレームワークは完全に教師なしで、セグメンテーション特化のアノテーションに対する微調整を一切不要としている。

実験結果

リサーチクエスチョン

• RQ1 各画像のセマンティック分布に適応したコンセプト発見をどのように改善できるか？
• RQ2 動的適応を備えた学習可能なプロトタイプベースのアプローチは、固定クラスタや前景・背景分離手法を上回ることができるか？
• RQ3 モジュラリティに基づく損失は、教師なし条件下でどのように適応的コンセプトカウントを可能にするか？
• RQ4 発見されたコンセプトは、事前学習済みの視覚言語モデルを用いたゼロショット分類においてどの程度一般化可能か？

主な発見

• ACSegは、後処理や微調整なしにPASCAL VOC 2012の教師なしセマンティックセグメンテーションベンチマークで最先端の性能を達成した。
• k-NN検索精度を用いたVOCデータセット上での領域レベル表現の質を測定した結果、k-means、スペクトルクラスタリング、アフィニティプロパゲーションを上回った。
• 16個のプロトタイプを用いた場合、PASCAL VOC 2012で平均交差率（mIoU）52.1％を達成し、異なるプロトタイプ数においても頑健性とスケーラビリティを示した。
• ACGベースのアプローチは、画像固有のセマンティック構造を適応的にモデル化できるため、従来のクラスタリングアルゴリズムを上回る性能を発揮した。
• CLIPと組み合わせた場合、MaskCLIP、GroupViT、ReCoよりも高いゼロショット分類精度を達成し、コンセプトの局所化品質の高さを示した。
• アブレーションスタディにより、モジュラリティ損失が適応的コンセプト発見を可能にすることが確認された：プロトタイプが少なすぎると（例：2個）クラスタ数不足（アンダクラスタリング）が生じ、多すぎると過剰クラスタリングが発生し、最適な性能は中程度の範囲で得られた。