[論文レビュー] Unsupervised Semantic Segmentation with Self-supervised Object-centric Representations

Andrii Zadaianchuk, Matthaeus Kleindessner+3 more|arXiv (Cornell University)|Jul 11, 2022

Advanced Image and Video Retrieval Techniques被引用数 16

ひとこと要約

本論文では、DINOからのオブジェクト中心の表現と、無教師の顕著性検出を活用して学習用の疑似マスクを生成する、自己教師付きの無教師セマンティックセグメンテーション手法COMUSを提案する。PASCAL VOCでは最先端の性能（50.0 mIoU）を達成し、81クラスすべてを含むMS COCOデータセットにおいても、初めての無教師セグメンテーション結果を報告しており、平均mIoUは19.6を達成した。また、34のカテゴリで20％以上のIoUを達成した。

ABSTRACT

In this paper, we show that recent advances in self-supervised feature learning enable unsupervised object discovery and semantic segmentation with a performance that matches the state of the field on supervised semantic segmentation 10 years ago. We propose a methodology based on unsupervised saliency masks and self-supervised feature clustering to kickstart object discovery followed by training a semantic segmentation network on pseudo-labels to bootstrap the system on images with multiple objects. We present results on PASCAL VOC that go far beyond the current state of the art (50.0 mIoU), and we report for the first time results on MS COCO for the whole set of 81 classes: our method discovers 34 categories with more than $20\%$ IoU, while obtaining an average IoU of 19.6 for all 81 categories.

研究の動機と目的

• 人間によるカテゴリラベルなしで、シンプルでありながら強力な無教師セマンティックセグメンテーションのベースラインを構築すること。
• 自己教師付き表現を用いて、複数オブジェクトを含む画像において、オブジェクトカテゴリの無教師的発見と正確な局所化を実現すること。
• PASCAL VOCとは異なり、これまでこの設定で未解決であった、81クラスすべてを含む大規模データセットMS COCOへの無教師セマンティックセグメンテーションの拡張。
• 10年前の教師あり手法と同等の性能に達成できるかどうかを示すこと。
• 今後の改善のためのパイプライン内の主要な構成要素とボトルネックを、アブレーションスタディにより同定すること。

提案手法

• ImageNetからラベルなしで、高品質なオブジェクト中心特徴を抽出するために、自己教師付きビジョントランスフォーマーDINOを用いる。
• 顕著性検出器（DeepUSPS もしくは BASNet）を適用して、前面オブジェクトを局所化し、領域提案を抽出する。
• 顕著性領域内におけるDINO特徴にスペクトルクラスタリングを適用し、オブジェクトカテゴリを発見して疑似マスクを生成する。
• 不確実なクラスタをフィルタリングすることで、疑似ラベルのノイズを低減し、マスク品質を向上させる。
• データオーグメンテーションを用いた自己学習により、生成された疑似マスク上でDeepLabv3セマンティックセグメンテーションネットワークを学習する。
• PASCAL VOCおよびMS COCOの両データセットにおいて、反復的な自己学習を実行し、予測を精緻化してセグメンテーション品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きオブジェクト中心特徴が、人間によるラベルなしで強力な無教師セマンティックセグメンテーションを可能にするか？
• RQ2 無教師顕著性検出と特徴クラスタリングの組み合わせは、複雑な複数オブジェクトシーンにおけるオブジェクト発見にどの程度効果的か？
• RQ3 81クラスのMS COCOのようなデータセットにおいて、疑似マスク上の自己学習ループが、セグメンテーション性能をどの程度向上できるか？
• RQ4 パイプライン内で性能に最も影響を与える主要な構成要素は何か。また、改善のための主なボトルネックはどこか？
• RQ5 無教師セグメンテーション手法は、10年前の教師あり手法と同等の性能に達成できるか？

主な発見

• COMUSはPASCAL VOCで50.0 mIoUを達成し、10年前の教師ありセマンティックセグメンテーション手法の性能と一致する。
• 本論文では、81クラスすべてを含むMS COCOデータセットにおける無教師セマンティックセグメンテーションの結果を初めて報告しており、平均mIoUは19.6を達成した。
• MS COCOにおいて34のオブジェクトカテゴリを20％以上のIoUで正しく発見し、複数オブジェクト・複数カテゴリの効果的な発見を示した。
• アブレーションスタディの結果、無教師顕著性検出とDINO特徴上でのスペクトルクラスタリングが、初期マスク品質とカテゴリ発見に不可欠であることが判明した。
• 自己学習により性能が顕著に向上し、PASCAL VOCでは2反復、MS COCOでは1反復で一貫した向上が得られた。
• 計算コストはDINO事前学習（8GPUで3日間）に主に占められるが、推論および下流の学習は効率的であり、4台のT4 GPUで全自己学習を約1時間で実行可能である。