[論文レビュー] Self-supervised Image-specific Prototype Exploration for Weakly Supervised Semantic Segmentation

Qi Chen, Lingxiao Yang+2 more|arXiv (Cornell University)|Mar 6, 2022

Advanced Neural Network Applications参考文献 53被引用数 14

ひとこと要約

本論文は、画像ラベルのみを用いて弱教師付きセマンティックセグメンテーションを実現するための新規フレームワークである自己教師付き画像固有プロトタイプ探索（SIPE）を提案する。SIPEは、構造に配慮したシード位置特定と背景に配慮したプロトタイプモデリングを用いて、画像固有の活性化マップ（IS-CAM）を生成する画像固有プロトタイプ探索（IPE）を導入する。一方、一般CAMとIS-CAMを一致させる一般-特定一貫性（GSC）損失により、特徴抽出の自己教師信号を提供する。本手法は、PASCAL VOC 2012 で58.6%のmIoU、MS COCO 2014 で53.2%のmIoUを達成し、最先端性能を実現した。

ABSTRACT

Weakly Supervised Semantic Segmentation (WSSS) based on image-level labels has attracted much attention due to low annotation costs. Existing methods often rely on Class Activation Mapping (CAM) that measures the correlation between image pixels and classifier weight. However, the classifier focuses only on the discriminative regions while ignoring other useful information in each image, resulting in incomplete localization maps. To address this issue, we propose a Self-supervised Image-specific Prototype Exploration (SIPE) that consists of an Image-specific Prototype Exploration (IPE) and a General-Specific Consistency (GSC) loss. Specifically, IPE tailors prototypes for every image to capture complete regions, formed our Image-Specific CAM (IS-CAM), which is realized by two sequential steps. In addition, GSC is proposed to construct the consistency of general CAM and our specific IS-CAM, which further optimizes the feature representation and empowers a self-correction ability of prototype exploration. Extensive experiments are conducted on PASCAL VOC 2012 and MS COCO 2014 segmentation benchmark and results show our SIPE achieves new state-of-the-art performance using only image-level labels. The code is available at https://github.com/chenqi1126/SIPE.

研究の動機と目的

• 弱教師付きセマンティックセグメンテーションにおけるクラス活性化マップ（CAM）の限界、すなわち特徴的な領域にのみ注目し、広範なオブジェクト構造を無視する問題を解決すること。
• 各オブジェクトのより代表的で完全な領域を捉える画像固有プロトタイプを学習することで、局所化の完全性を向上させること。
• 一般CAMと画像固有のIS-CAMの間の一貫性を保つ自己教師付き一貫性損失により、特徴表現を強化すること。
• 高価なピクセル単位のアノテーションに依存しない、画像ラベルのみで最先端性能を達成するフレームワークの開発

提案手法

• 画像固有プロトタイプ探索（IPE）は2段階の順次処理で実装される。まず、ピクセル間の意味的関係を用いて空間的に一貫性のある領域を特定する構造に配慮したシード位置特定を行い、次にこれらのシードから画像固有のプロトタイプを形成し、特徴との類似度を計算する。
• 背景に配慮したプロトタイプモデリングを導入することで、特徴的でないが情報量の多い背景の手がかりを捉え、局所化のロバスト性を向上させる。
• 一般-特定一貫性（GSC）損失は、分類器重みから得られる一般CAMと画像固有のIS-CAMの一致を強制することで、特徴表現の最適化に自己教師信号を提供する。
• 階層的特徴を用いることで、前景と背景の両方をより良くモデル化し、背景プロトタイプモデリングにより仮ラベルの品質を向上させる。
• 仮ラベルはしきい値処理または推定された背景マップを用いて生成され、階層的特徴とBPMを組み合わせた場合、しきい値処理よりも優れた性能を示す。
• モデルは自己教師付き一貫性目的関数を用いてエンドツーエンドで訓練され、ピクセルレベルの監視なしに局所化マップの反復的改善が可能となる。

実験結果

リサーチクエスチョン

• RQ1 弱教師付きセマンティックセグメンテーションにおいて、クラス中心に基づくCAMと比較して、画像固有プロトタイプは局所化の完全性を向上させることができるか？
• RQ2 固定しきい値またはargmaxベースのシード選択と比較して、構造に配慮したシード位置特定は、代表的なオブジェクト領域をどのように効果的に特定できるか？
• RQ3 背景に配慮したプロトタイプモデリングは、特徴表現の向上と局所化における誤検出の低減にどの程度寄与するか？
• RQ4 一般CAMとIS-CAMの間の自己教師付き一貫性損失は、特徴品質とセグメンテーション精度を向上させることができるか？
• RQ5 階層的特徴と背景プロトタイプモデリングを組み合わせることで、低レベル特徴のみを用いる場合と比較して、より優れた仮ラベル生成が可能になるか？

主な発見

• SIPEは、画像ラベルのみを用いてPASCAL VOC 2012ベンチマークで58.6%のmIoUという、新たな最先端性能を達成した。
• 画像固有プロトタイプを用いて生成されたIS-CAMは、標準CAMよりもmIoUで2.1%向上し、より優れた局所化完全性を示した。
• 一般-特定一貫性（GSC）損失は、IS-CAM単体と比較してmIoUを5.4%向上させ、自己教師付き特徴最適化の有効性を示した。
• アブレーションスタディの結果、階層的特徴と背景プロトタイプモデリング（BPM）を組み合わせた場合が最高の性能を示し、推定ベースの仮ラベルがしきい値ベースのものよりも優れていた。
• 構造に配慮したシード位置特定は、固定しきい値法およびargmaxベース法を常に上回り、最良の結果として53.3%のmIoUを達成した。一方、本手法は58.6%のmIoUを達成した。
• 可視化結果から、IS-CAMはCAMと比較してより完全なオブジェクト領域を活性化し、特にGSCで学習した場合、背景の活性化が明確に現れた。