[論文レビュー] Non-Salient Region Object Mining for Weakly Supervised Semantic Segmentation

Yazhou Yao, Tao Chen+6 more|arXiv (Cornell University)|Mar 26, 2021

Visual Attention and Saliency Detection参考文献 60被引用数 17

ひとこと要約

本論文は、画像レベルラベルを用いた弱教師付きセマンティックセグメンテーションのための非顕著領域オブジェクトマイニング手法を提案する。グラフベースのグローバルリーダーリングユニットを導入し、長距離依存関係を捉え、非顕著領域の活性化を向上させる。また、偽ラベルの誤って否定される割合を低減するための潜在的オブジェクトマイニングモジュールと、複雑な画像における非顕著領域マスキングモジュールを備え、PASCAL VOC 2012で最先端の性能を達成した。

ABSTRACT

Semantic segmentation aims to classify every pixel of an input image. Considering the difficulty of acquiring dense labels, researchers have recently been resorting to weak labels to alleviate the annotation burden of segmentation. However, existing works mainly concentrate on expanding the seed of pseudo labels within the image's salient region. In this work, we propose a non-salient region object mining approach for weakly supervised semantic segmentation. We introduce a graph-based global reasoning unit to strengthen the classification network's ability to capture global relations among disjoint and distant regions. This helps the network activate the object features outside the salient area. To further mine the non-salient region objects, we propose to exert the segmentation network's self-correction ability. Specifically, a potential object mining module is proposed to reduce the false-negative rate in pseudo labels. Moreover, we propose a non-salient region masking module for complex images to generate masked pseudo labels. Our non-salient region masking module helps further discover the objects in the non-salient region. Extensive experiments on the PASCAL VOC dataset demonstrate state-of-the-art results compared to current methods.

研究の動機と目的

• 既存の弱教師付きセマンティックセグメンテーション手法が主に顕著領域に注目し、非顕著領域のオブジェクトを無視するという限界を是正すること。
• 顕著領域外の領域における偽ラベルの誤って否定率を低減することで、偽ラベルの品質を向上させること。
• グローバルコンテキストモデリングを通じて、散在するか、縁に局在する領域におけるオブジェクトの発見および局在化能力を向上させること。
• 複雑な画像におけるマスク付き偽ラベルを生成することで、セグメンテーションネットワークの自己補正能力を活用すること。
• 画像レベルのアノテーションのみを用いて、PASCAL VOC 2012ベンチマークで最先端の性能を達成すること。

提案手法

• 不連続で遠く離れた領域間の長距離依存関係をモデル化するためのグラフベースのグローバルリーディングユニットを導入し、非顕著領域の活性化を向上させる。
• ナイーブなクラスアクティベーションマップ（CAMs）を活用して、顕著マップが見逃したオブジェクト領域を回復する潜在的オブジェクトマイニングモジュールを提案し、偽ラベルの誤って否定を低減する。
• 複雑な画像における非顕著領域を効果的にマスクする非顕著領域マスキングモジュールを設計し、オブジェクト境界を保持するとともに自己補正を強化する。
• カテゴリ数に基づいて訓練画像を単純セットと複雑セットに分割し、最適なパフォーマンスを得るために異なる偽ラベル作成戦略を適用する。
• マスキングモジュールで膨張操作を採用し、オブジェクト周囲の背景コンテキストを保持することで、境界学習を支援する。
• バックボーンにResNetを採用し、洗練された偽ラベルを用いて分類とセグメンテーションネットワークを共同で学習する。

実験結果

リサーチクエスチョン

• RQ1 顕著マップが失敗する非顕著で散在する領域において、グローバルリーディングメカニズムがオブジェクト特徴の活性化を向上させられるか？
• RQ2 顕著マップに依存せず、非顕著領域における偽ラベルの誤って否定を低減する方法は何か？
• RQ3 複雑な画像における非顕著領域のマスキングが、セグメンテーションネットワークの自己補正能力とオブジェクト発見能力を向上させるか？
• RQ4 本手法のモジュールにおける膨張カーネルサイズと特徴ノード数の最適な設定は何か？
• RQ5 グローバルリーディング、偽ラベル精錬、マスキングを統合した統一フレームワークは、弱教師付き条件下で最先端の結果を達成できるか？

主な発見

• 提案手法は、PASCAL VOC 2012の検証セットで70.4%の平均交差率（mIoU）を達成し、既存の最先端手法を上回った。
• アブレーションスタディの結果、複雑な画像における非顕著領域のマスキングにより、性能が0.4%向上した。これは、提案されたマスキング戦略の有効性を示している。
• 非顕著領域マスキングモジュール（NSRM）は、r = 30の膨張カーネルサイズで最適な性能を発揮し、背景保持と境界明瞭性のバランスを取っていた。
• グラフベースのグローバルリーディングユニットに64個の特徴ノードを使用した場合が最良の性能を示し、それ以上に増加させても利得は減少した。
• オブジェクト拡張処理を削除すると0.2%の性能低下が生じたため、顕著領域予測の精錬に有効であることが示された。
• 定性的な比較では、従来手法が失敗する非顕著領域（例：隅に置かれた鉢植え）においても、本手法がオブジェクトを効果的に発見・セグメンテーションできていることが確認された。