[論文レビュー] Weakly Supervised Salient Object Detection Using Image Labels

Guanbin Li, Yuan Xie+1 more|arXiv (Cornell University)|Mar 17, 2018

Visual Attention and Saliency Detection被引用数 21

ひとこと要約

本稿では、画像ラベルと非教師付きの注目度マップをノイズのあるアノテーションとして用い、完全畳み込みネットワークを学習する弱教師付き顕著オブジェクト検出手法を提案する。空間的整合性を保つために条件付きランダムフィールド（CRF）を用いて予測を交互に精緻化するとともに、クラス活性化マップ（CAMs）によって誘導されるマルチタスクResNetを用いることで、すべての主要ベンチマークで数千枚のピクセルレベルアノテーションを用いた強教師付き学習と同等の性能を達成する。

ABSTRACT

Deep learning based salient object detection has recently achieved great success with its performance greatly outperforms any other unsupervised methods. However, annotating per-pixel saliency masks is a tedious and inefficient procedure. In this paper, we note that superior salient object detection can be obtained by iteratively mining and correcting the labeling ambiguity on saliency maps from traditional unsupervised methods. We propose to use the combination of a coarse salient object activation map from the classification network and saliency maps generated from unsupervised methods as pixel-level annotation, and develop a simple yet very effective algorithm to train fully convolutional networks for salient object detection supervised by these noisy annotations. Our algorithm is based on alternately exploiting a graphical model and training a fully convolutional network for model updating. The graphical model corrects the internal labeling ambiguity through spatial consistency and structure preserving while the fully convolutional network helps to correct the cross-image semantic ambiguity and simultaneously update the coarse activation map for next iteration. Experimental results demonstrate that our proposed method greatly outperforms all state-of-the-art unsupervised saliency detection methods and can be comparable to the current best strongly-supervised methods training with thousands of pixel-level saliency map annotations on all public benchmarks.

研究の動機と目的

• ディープラーニングベースの顕著オブジェクト検出におけるピクセルレベルの注目度マスクの高コストなアノテーション問題に対処すること。
• 弱教師付き学習を用いて、空間的不整合性と意味的曖昧性を補正することで、非教師付き注目度検出を向上させること。
• 密なピクセルレベルアノテーションを必要とせずに、注目度マップを向上させる汎用的で反復的な最適化フレームワークを開発すること。
• ピクセルレベルアノテーションを一切使用せず、画像ラベルと非教師付き初期化のみで、完全教師付き手法と同等の性能を達成すること。

提案手法

• 本手法は、空間的整合性と構造保存性を強制することで、内部ラベルの曖昧性を解消するための条件付きランダムフィールド（CRF）を用いる。
• マルチタスクの完全畳み込みResNetを、画像ラベルと非教師付き手法から得た反復的に修正されたピクセルレベルアノテーションを用いて学習する。
• ネットワークは2つの出力を生成する：顕著オブジェクトの粗い局所化のためのクラス活性化マップ（CAM）と、精度向上のための精錬された注目度マップ。
• フレームワークは、CRFによる精錬とディープネットワーク学習を交互に実行し、CAMが画像間での意味的曖昧性の補正を誘導する。
• CRFの単一潜在変数は、ディープネットワークからの精錬された注目度マップとCAMを用いて反復的に更新される。
• 初期化は任意の非教師付き手法からの注目度マップを用いるため、本フレームワークは汎用的であり、さまざまなベースラインに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルアノテーションを一切使用せず、画像ラベルと非教師付き初期化のみで、顕著度検出性能を著しく向上させることができるか？
• RQ2 ディープネットワークは、非教師付き手法が生成するノイズの多い注目度マップ内のラベルの曖昧性をどの程度効果的に是正できるか？
• RQ3 クラス活性化マップ（CAMs）を組み込むことで、弱教師付き顕著度検出の精度と局所化性能がどの程度向上するか？
• RQ4 CRFによる空間的正則化とディープネットワーク学習の組み合わせにより、完全教師付き手法と同等の性能を達成できるか？
• RQ5 提案された最適化フレームワークは、さまざまな非教師付き注目度検出ベースラインに一般化可能か？

主な発見

• 提案手法はPASCAL-Sデータセットで最大F-measure 0.913を達成し、すべての最先端非教師付き手法を上回った。
• HKU-ISデータセットではMAEを0.041まで低下させ、最良の非教師付き手法を大きく上回った。
• 画像ラベルのみを用いた場合、数千枚のピクセルレベルアノテーションを用いた完全教師付き手法と同等の性能を達成した。
• MSRA-Bデータセットの正例マスクを半教師付き設定で組み合わせた場合、HKU-IS、ECSSD、PASCAL-Sのすべてのベンチマークで、すべての完全教師付きベースラインを上回った。
• アブレーションスタディの結果、CAMの誘導が性能向上に最も寄与しており、ベースラインの非教師付き手法に比べてmaxFが5.22%向上し、MAEが16.6%低下した。
• 本手法は汎用性が高く、BSCA、MST、その他の多様な非教師付きベースラインを、複数のベンチマークで著しく改善した。