[論文レビュー] Causal Unsupervised Semantic Segmentation

Junho Kim, Byung‐Kwan Lee+1 more|arXiv (Cornell University)|Oct 11, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

CAUSEは、概念クラスターブックを仲介者として用いる因果的自己教師ありセマンティックセグメンテーションフレームワークを提案する。これは、フロントドア調整を用いてクラスタリングの粒度を明示的にモデル化することで、自己教師あり学習を概念ごとに実現し、SOTAの性能を達成する。特に、ピクセルレベルのアノテーションが一切不要であるにもかかわらず、人物の部位や車両といった細分化された概念のセグメンテーションで、先行手法を上回る性能を発揮する。

ABSTRACT

Unsupervised semantic segmentation aims to achieve high-quality semantic grouping without human-labeled annotations. With the advent of self-supervised pre-training, various frameworks utilize the pre-trained features to train prediction heads for unsupervised dense prediction. However, a significant challenge in this unsupervised setup is determining the appropriate level of clustering required for segmenting concepts. To address it, we propose a novel framework, CAusal Unsupervised Semantic sEgmentation (CAUSE), which leverages insights from causal inference. Specifically, we bridge intervention-oriented approach (i.e., frontdoor adjustment) to define suitable two-step tasks for unsupervised prediction. The first step involves constructing a concept clusterbook as a mediator, which represents possible concept prototypes at different levels of granularity in a discretized form. Then, the mediator establishes an explicit link to the subsequent concept-wise self-supervised learning for pixel-level grouping. Through extensive experiments and analyses on various datasets, we corroborate the effectiveness of CAUSE and achieve state-of-the-art performance in unsupervised semantic segmentation.

研究の動機と目的

• 自己教師ありセマンティックセグメンテーションにおける不確実なクラスタリングターゲット問題に対処すること。これは、教師なし条件下で何を、どのようにクラスタリングすべきかが不明瞭であるためである。
• 複数の抽象化レベルにおける概念プロトタイプを明示的にモデル化することで、セグメンテーションの粒度を向上させること。
• 因果推論（特にフロントドア調整）を用いて、自己教師ありピクセルレベルのグループ化における交絡要因を分離すること。
• 未観測の交絡要因からのバックドア経路を遮断する離散化された仲介者を用いて、概念ごとの自己教師あり学習を可能にすること。
• 人為的セグメンテーションマスクが一切不要な状態で、COCO-StuffおよびCityscapesでSOTAの性能を達成すること。

提案手法

• 複数の粒度にわたる概念プロトタイプの仲介者として機能する離散化されたメディエーターM（概念クラスターブック）を構築し、事前学習済み特徴TとセマンティックグループYの間の因果的仲介者として機能させる。
• Mを因果推定の十分統計量として用いることで、未観測の交絡要因Uからのバックドア経路をブロックするため、フロントドア調整を適用する。
• Mの離散化インデックスを用いてポジティブペアを定義し、他の概念からネガティブペアをサンプリングすることで、概念ごとの対照学習を用いてセグメンテーションヘッドを訓練する。
• 二段階の訓練プロセスを採用する：第一段階では、凝集型クラスタリング、スペクトルクラスタリング、K-means++などのクラスタリングアルゴリズムを用いて概念クラスターブックMを学習し、第二段階では、緩和されたポジティブ/ネガティブサンプリングを用いてセグメンテーションヘッドを訓練する。
• 完全結合CRFと概念バンクを統合し、特に細分化されたカテゴリにおいて予測の精緻化と局所化の向上を図る。
• 対照学習性能を最適化するため、ハイパーパrameterとしてポジティブ緩和φ⁺とネガティブ緩和φ⁻を制御する。

実験結果

リサーチクエスチョン

• RQ1 教師なし条件下で、適切なクラスタリングレベルをどのように定義できるか？
• RQ2 因果推論（特にフロントドア調整）を用いることで、ピクセルレベルのグループ化を構造化し、セグメンテーションの粒度を向上させることができるか？
• RQ3 離散化された概念クラスターブックを仲介者として構築することで、エンドツーエンドのクラスタリングに比べ、自己教師ありセマンティックセグメンテーションの品質が向上するか？
• RQ4 異なるクラスタリング手法とクラスタ数は、CAUSEフレームワークにおける概念クラスターブックの性能にどのように影響を与えるか？
• RQ5 CAUSEは、異なる自己教師あり事前学習手法やデータセットカテゴリに広く一般化できるか？

主な発見

• CAUSEは、COCO-StuffおよびCityscapesでSOTAの性能を達成し、ViT-B/8を用いた場合、COCO-Stuffでは41.9%のmIoUと74.9%のpAccを達成し、先行する自己教師あり手法を上回る。
• アブレーションスタディの結果、概念バンクとCRFの組み合わせにより、ベースラインから4.5%のmIoU向上が確認され、予測の精緻化における両者の重要性が示された。
• 凝集型クラスタリングを用い、クラスターブックに2048個の概念を用いることで、性能はほぼ飽和状態に達し、それ以上の増加は見込めないことが示された。
• ポジティブ緩和φ⁺を0.4、ネガティブ緩和φ⁻を0.55に設定した場合が、対照学習性能が最適となり、これらの値から逸脱するとmIoUが著しく低下した。
• CAUSEはCOCO-171（171カテゴリ）においても強力な性能を維持し、28.0%のmIoUと90.8%のpAccを達成した。これは、カテゴリ数の増加に対しても耐性があることを示している。
• 可視化比較では、CAUSEは人物、スポーツ、車両といった細分化された概念を、意図した粒度で正しくセグメンテーションしているのに対し、ベースラインは過剰または不十分なクラスタリングを示している。