[論文レビュー] Weak-shot Semantic Segmentation by Transferring Semantic Affinity and Boundary

Siyuan Zhou, Li Niu+3 more|arXiv (Cornell University)|Oct 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 6

ひとこと要約

本稿では、完全にアノテートされたベースカテゴリから、クラスに依存しないセマンティックアフィニティおよび境界知識を、画像ラベルのみを用いて新規カテゴリのセマンティックセグメンテーションに転送する、新しい弱教師ありセマンティックセグメンテーション手法RETABを提案する。ベースカテゴリのピクセルレベルアノテーションを活用して境界ネットワークとミックス教師付きアフィニティネットワークを学習し、境界を考慮した2段階の伝搬により初期CAM（クラス活性マップ）を精緻化することで、PASCAL VOC 2012で最先端の性能を達成した。新規カテゴリのmIoUは、完全教師ありの上限値の83.7–97.5%に達した。

ABSTRACT

Weakly-supervised semantic segmentation (WSSS) with image-level labels has been widely studied to relieve the annotation burden of the traditional segmentation task. In this paper, we show that existing fully-annotated base categories can help segment objects of novel categories with only image-level labels, even if base categories and novel categories have no overlap. We refer to this task as weak-shot semantic segmentation, which could also be treated as WSSS with auxiliary fully-annotated categories. Recent advanced WSSS methods usually obtain class activation maps (CAMs) and refine them by affinity propagation. Based on the observation that semantic affinity and boundary are class-agnostic, we propose a method under the WSSS framework to transfer semantic affinity and boundary from base to novel categories. As a result, we find that pixel-level annotation of base categories can facilitate affinity learning and propagation, leading to higher-quality CAMs of novel categories. Extensive experiments on PASCAL VOC 2012 dataset prove that our method significantly outperforms WSSS baselines on novel categories.

研究の動機と目的

• ピクセルレベルのアノテーションが全くない新規カテゴリへの一般化に制限をもつ弱教師ありセマンティックセグメンテーション（WSSS）の課題を解決すること。
• 完全にアノテートされたベースカテゴリからの知識が、画像ラベルのみで監視される新規カテゴリのセグメンテーション性能を向上させることを検証すること。
• ベースカテゴリのアノテーションを補助的監視として用いることで、新規カテゴリのセグメンテーションを向上させる、新しいパラダイム「弱教師ありセグメンテーション」を提案すること。
• ベースカテゴリから新規カテゴリへ、クラスに依存しないセマンティックアフィニティおよび境界情報を転送し、CAM精緻化を向上させる手法を開発すること。

提案手法

• ベースサンプルに対して真値セグメンテーションラベルを用いて境界ネットワークを学習し、セマンティック境界を予測する。得られた境界情報を用いて、信頼性の高いピクセルと信頼性の低いピクセルを特定し、アフィニティ学習の精度を向上させる。
• ベースサンプルの真値ラベルと新規サンプルのCAMを組み合わせたミックス教師付き学習により、ピクセルペア間のセマンティックアフィニティを学習するアフィニティネットワークを訓練する。
• 学習済みのセマンティック境界とアフィニティを統合した2段階の伝搬戦略を採用し、初期CAMの精緻化を図ることで、応答拡張と境界局在化の両方を向上させる。
• 信頼度を考慮したアフィニティ学習では、境界ピクセルを不確実とし、非境界ピクセルを確実とみなすことで、新規カテゴリにおけるアフィニティ推定のノイズを低減する。
• 境界を考慮したランダムウォーク伝搬では、転送された境界情報と学習済みアフィニティを併用し、より正確な疑似セグメンテーションマスクを生成する。
• 既存のWSSSベースライン（例：PSA、SEAM、CPN）にRETABの2段階伝搬を統合し、標準的なランダムウォークに置き換えることで、元のアーキテクチャを維持しつつ、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 クラスに依存しないセマンティックアフィニティおよび境界知識が、完全にアノテートされたベースカテゴリから、画像ラベルのみで監視される新規カテゴリに効果的に転送可能か？
• RQ2 ベースカテゴリから境界とアフィニティ情報を転送することで、新規カテゴリのCAM精緻化がより正確かつ境界に配慮したものとなるか？
• RQ3 標準的なWSSSベースラインおよび単純な弱教師ありベースラインと比較して、提案手法RETABの新規カテゴリにおけるセグメンテーション性能はどの程度向上するか？
• RQ4 RETABは、ベースサンプルの背景に存在する新規カテゴリや、限られたベースカテゴリのアノテーションしか得られない状況において、どの程度一般化可能か？

主な発見

• RETABは、PASCAL VOC 2012における新規カテゴリにおいて、標準的なWSSSベースラインを著しく上回り、完全教師ありの上限（Fully Oracle）のmIoUの83.7–97.5%を達成した。
• ベースカテゴリでは、完全教師あり性能の97.7–100%を回復しており、知識転送の有効性を示している。
• 可視化結果から、RETABが生成する疑似セグメンテーションマスクは、標準的なランダムウォークよりもオブジェクト境界に忠実であることが明らかになった。特に複雑な領域や細分化された領域で顕著な改善が得られた。
• アブレーションスタディの結果、境界転送とアフィニティ学習の両方が性能向上に寄与していることが確認され、境界を考慮した伝搬が特に有効であることが示された。
• RETABは、ベース画像の背景に存在する新規カテゴリに対しても良好に一般化でき、単純な自己学習ステップを追加するだけで性能が向上した。
• 少数のベースサンプルしか利用できない状況でも、本手法は有効であり、少数のサンプルからの転送において高いデータ効率を示した。