[論文レビュー] TransFGU: A Top-down Approach to Fine-Grained Unsupervised Semantic Segmentation

Zhaoyuan Yin, Pichao Wang+5 more|arXiv (Cornell University)|Dec 2, 2021

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

TransFGUは、ImageNetから高レベルの意味的事前知識を自己教師付き事前学習済みビジョントランスフォーマー（例：DINO）を用いて抽出し、Grad-CAMを介して低レベル特徴にマッピングすることで偽ラベルを生成し、ブートストラップ機構を用いて反復的にセグメンテーションを最適化する、画期的なトップダウン型自己教師付き意味的セグメンテーションフレームワークを提案する。複数のベンチマークで最先端の性能を達成し、細分化された、複雑なシーンにおけるセグメンテーションにおいて、従来のボトムアップ手法を上回っている。

ABSTRACT

Unsupervised semantic segmentation aims to obtain high-level semantic representation on low-level visual features without manual annotations. Most existing methods are bottom-up approaches that try to group pixels into regions based on their visual cues or certain predefined rules. As a result, it is difficult for these bottom-up approaches to generate fine-grained semantic segmentation when coming to complicated scenes with multiple objects and some objects sharing similar visual appearance. In contrast, we propose the first top-down unsupervised semantic segmentation framework for fine-grained segmentation in extremely complicated scenarios. Specifically, we first obtain rich high-level structured semantic concept information from large-scale vision data in a self-supervised learning manner, and use such information as a prior to discover potential semantic categories presented in target datasets. Secondly, the discovered high-level semantic categories are mapped to low-level pixel features by calculating the class activate map (CAM) with respect to certain discovered semantic representation. Lastly, the obtained CAMs serve as pseudo labels to train the segmentation module and produce the final semantic segmentation. Experimental results on multiple semantic segmentation benchmarks show that our top-down unsupervised segmentation is robust to both object-centric and scene-centric datasets under different semantic granularity levels, and outperforms all the current state-of-the-art bottom-up methods. Our code is available at \url{https://github.com/damo-cv/TransFGU}.

研究の動機と目的

• 視覚的に類似している、または顕著に変動するオブジェクトを有する細分化された、複雑なシーンを扱う際のボトムアップ型自己教師付き手法の限界を克服すること。
• 設定可能なクラスタ数（K）を導入することで、自己教師付きセグメンテーションにおける意味的粒度の柔軟な制御を可能にすること。
• 学習された意味的事前知識とクラス活性化マップを用いて、高レベルの意味的概念と低レベルのピクセル特徴の間のギャップを埋めること。
• 自己教師付き事前学習と反復的な偽ラベルの最適化を活用することで、自己教師付き環境におけるセグメンテーション精度を向上させること。

提案手法

• DINOで学習されたビジョントランスフォーマー特徴を用いて、自己教師付きの方法でImageNetデータから強固な高レベルの意味的事前知識を抽出する。
• 事前学習済み特徴の意味的類似性を用いて、ターゲットデータセットにおける潜在的な意味的カテゴリをクラスタリング手法で同定する。
• Grad-CAMを用いて高レベルの意味的表現を低レベルの特徴マップに投影し、クラス固有の活性化マップとして偽ラベルを生成する。
• 再訓練されたセグメンテーションヘッドを用いて更新された予測結果を反復的に用いることで、偽ラベルの品質を改善するブートストラップ機構を採用する。
• セマンティック特徴クラスタリングの品質を向上させるために、前景・背景のパッチ分離戦略を導入する。
• ユーザーが希望する意味的カテゴリ数Kを定義可能であるため、細分化または粗いセグメンテーションを柔軟に制御できる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの意味的事前知識を用いたトップダウン型アプローチが、ボトムアップ型自己教師付き手法を上回って細分化された意味的セグメンテーションを達成できるか？
• RQ2 DINOベースの自己教師付き特徴が、自己教師付きピクセル単位分類の意味的事前知識としてどれほど有効か？
• RQ3 自己教師付き事前学習手法の選択（例：DINO対MoCoV3）が、下流のセグメンテーション性能にどの程度の影響を及えるか？
• RQ4 フォアグラウンドに配慮したパッチ分離戦略は、クラスタリング品質とセグメンテーション精度をどの程度向上させるか？
• RQ5 再トレーニングなしで、異なる意味的粒度レベルに一般化可能か？

主な発見

• TransFGUは、K=25の条件下でCOCO-Stuff-171でmIoU 11.93、Pascal-VOCでmIoU 37.68を達成し、最先端のボトムアップ型自己教師付き手法を上回っている。
• 本手法は、オブジェクト中心（例：LIP）とシーン中心（例：Cityscapes）の両方のデータセットにおいて、異なる意味的粒度レベルでも堅牢に機能している。
• 8x8パッチサイズのDINOを用いることで、mIoU=11.93の優れた性能を達成しているのに対し、16x16パッチサイズではmIoU=9.43にとどまり、事前モデルにおける特徴解像度の重要性が顕著に示されている。
• DINOをMoCoV3に置き換えると、性能が著しく低下（mIoU=2.32）し、自己教師付き事前学習手法が意味的事前知識の品質に顕著に影響を与えることが示された。
• アノテーション付きクローピングはmIoUをわずかに向上（11.93 → 12.16）させるにとどまり、スライディングウィンドウクローピングでも十分な意味的情報を捉えていることが示された。
• フォアグラウンド事前知識を除去すると、COCO-Stuff-171におけるmIoUは11.93から9.52に低下し、クラスタリング品質の向上にその重要性が確認された。