[論文レビュー] Saliency Guided Self-attention Network for Weakly and Semi-supervised Semantic Segmentation

Qi Yao, Xiaojin Gong|arXiv (Cornell University)|Oct 12, 2019

Advanced Neural Network Applications参考文献 46被引用数 10

ひとこと要約

本論文は、弱教師ありおよび半教師ありセマンティックセグメンテーションのための、サリエンシー Guided Self-attention Network (SGAN) を提案する。クラスに依存しないサリエンシー地図とクラス固有のアテンションキューを統合し、自己アテンション機構をガイドすることで、活性化の誤った拡散を防ぐ。本手法は、PASCAL VOC 2012 および COCO で最先端の性能を達成し、弱教師あり条件下で 64.2% の mIoU を達成し、部分的なアノテーションに置き換えることで半教師あり設定への強い汎化性を示す。

ABSTRACT

Weakly supervised semantic segmentation (WSSS) using only image-level labels can greatly reduce the annotation cost and therefore has attracted considerable research interest. However, its performance is still inferior to the fully supervised counterparts. To mitigate the performance gap, we propose a saliency guided self-attention network (SGAN) to address the WSSS problem. The introduced self-attention mechanism is able to capture rich and extensive contextual information but may mis-spread attentions to unexpected regions. In order to enable this mechanism to work effectively under weak supervision, we integrate class-agnostic saliency priors into the self-attention mechanism and utilize class-specific attention cues as an additional supervision for SGAN. Our SGAN is able to produce dense and accurate localization cues so that the segmentation performance is boosted. Moreover, by simply replacing the additional supervisions with partially labeled ground-truth, SGAN works effectively for semi-supervised semantic segmentation as well. Experiments on the PASCAL VOC 2012 and COCO datasets show that our approach outperforms all other state-of-the-art methods in both weakly and semi-supervised settings.

研究の動機と目的

• 高価なピクセルレベルのアノテーションに依存するのを減らすことで、完全教師ありと弱教師ありセマンティックセグメンテーションの性能ギャップを是正すること。
• 弱教師あり条件下で、特徴的な部分が背景領域や他のオブジェクト領域に誤って活性化されるような自己アテンション機構におけるアテンションの誤った拡散を軽減すること。
• クラスに依存しないサリエンシー事前知識とクラス固有のアテンションキューを統合することで、より正確で密なオブジェクト局所化を実現し、シード局所化の品質を向上させること。
• 同じアーキテクチャが、サリエンシーおよびアテンション事前知識を部分的な真値セグメンテーションマスクに置き換えることで、半教師あり学習に汎用可能になるようにすること。

提案手法

• 長距離の文脈的依存関係を捉えるために、自己アテンション機構を弱教師ありセグメンテーションフレームワークに統合する。
• 空間的事前知識としてクラスに依存しないサリエンシー地図を用い、アテンション伝搬を制約し、背景領域への拡散を防ぐ。
• クラス固有のアテンションキューを追加の監督として組み込み、前方景物間の相互アテンションの誤った拡散を低減する。
• 分類とシード監視を組み合わせた重み付き損失を用いて、共同で訓練されるシードセグメンテーションブランチと画像分類ブランチを備えた二重ブランチネットワークを採用する。
• 自己アテンションモジュール内で、サリエンシーとアテンション事前知識を動的に統合し、局所化の正確性を向上させる。
• 同じ学習フレームワーク内で、サリエンシーおよびアテンション事前知識を部分的な真値セグメンテーションマスクに置き換えることで、半教師あり学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己アテンション機構は、弱教師ありセマンティックセグメンテーションにおいて、背景領域や他のオブジェクトカテゴリに誤ってアテンションが拡散しないように、長距離のコンテキストを効果的に捉えることができるか？
• RQ2 密な監視が欠如する状況下で、クラスに依存しないサリエンシー地図は、アテンションベースの局所化の信頼性をどのように向上させるか？
• RQ3 クラス固有のアテンションキューは、クラス間のアテンションの混同をどの程度低減させ、シード品質を向上させるか？
• RQ4 弱教師あり学習で訓練された同じアーキテクチャを、事前知識を部分的なアノテーションに置き換えることで、半教師あり学習に効果的に適応できるか？

主な発見

• 提案された SGAN は、弱教師あり学習条件下で PASCAL VOC 2012 の検証セットで 64.2% の mIoU を達成し、すべての先行最先端手法を上回った。
• 完全な SGAN モデルは、シード品質で 73.0 の F-measure を達成し、ベースライン（61.5）および他の変種を著しく上回り、優れたシード局所化の正確性と再現率を示した。
• アブレーションスタディの結果、サリエンシーとクラス固有のアテンションキューの両方を組み合わせた場合に mIoU が最大（64.2%）となり、両事前知識の相補的利点を実証した。
• 最適な重み係数 λ = 0.15 が、最高のセグメンテーション性能をもたらし、λ が高すぎたり低すぎたりすると mIoU が低下した。
• 本手法はサリエンシー検出器の選択に対して頑健であり、S-Net を用いると 64.2%、DSS を用いると 64.0%、DHSNet を用いると 63.7% の mIoU を達成し、サリエンシー品質への感受性が限定的であることを示した。
• SGAN は、事前知識を部分的な真値マスクに置き換えることで、アーキテクチャの変更なしに半教師あり学習に効果的に汎用可能である。