[論文レビュー] Weakly Supervised Learning for Salient Object Detection using Background Images.

Huaizu Jiang|arXiv (Cornell University)|Jan 29, 2015

Visual Attention and Saliency Detection参考文献 40被引用数 4

ひとこと要約

本稿では、画素単位のアノテーションに代えて画像レベルのアノテーション（顕著な物体の有無）のみを用いて、顕著な物体検出のための2つの弱教師付き学習手法を提案する。1つ目の手法は、背景のスーパーピクセルに1クラスSVMを適用して顕著領域を同定するものであり、2つ目の手法はスーパーピクセルラベルを隠れ変数として用いる潜在的構造SVM問題として検出を定式化し、顕著な物体がすべての画像に存在する必要がないという制約を克服して、ベンチマークデータセットで優れた性能を達成する。

ABSTRACT

Recent advances of supervised salient object detection models demonstrate significant performance on benchmark datasets. Training such models, however, requires expensive pixel-wise annotations of salient objects. Moreover, many existing salient object detection models assume that at least a salient object exists in the input image. Such an impractical assumption leads to less appealing saliency maps on the background images, which contain no salient objects at all. To avoid expensive strong saliency annotations, in this paper, we study weakly supervised learning approaches for salient object detection. In specific, given a set of background images and/or salient object images, where we only have annotations of salient object existence, we propose two approaches to train salient object detection models. In the first approach, we train a one-class SVM based on background superpixels. The further a superpixel is from the decision boundary of the one-class SVM, the more salient it is. The most interesting property of this approach is that we can effortlessly synthesize a set of background images to train the model. In the second approach, we present a solution toward jointly addressing salient object existence and detection tasks. We formulate salient object detection as an image labeling problem, where saliency labels of superpixels are modeled as hidden variables in the latent structural SVM framework. Experimental results on benchmark datasets validate the effectiveness of our proposed approaches.

研究の動機と目的

• 顕著な物体検出における画素単位のアノテーションの高コストを低減するため、画像レベルの監視のみを活用すること。
• 顕著な物体を含まない背景画像においても効果的な顕著性検出を可能にし、既存のモデルの限界を克服すること。
• 存在アノテーションのみを用いて、顕著な物体検出モデルを強固に学習する弱教師付き手法を開発すること。
• 実際のアノテート済みデータを必要としないで、背景画像を合成する可能性を検討すること。
• 構造的予測フレームワークにおける隠れ変数構造を用いて、顕著な物体の存在と検出を同時にモデル化すること。

提案手法

• 背景画像から抽出したスーパーピクセルに1クラスSVMを訓練し、背景と顕著領域を分離する決定境界を学習する。
• 各スーパーピクセルが1クラスSVMの決定境界からの距離を顕著性スコアとして用い、距離が大きいほど顕著性が高いと判断する。
• 実際の背景画像を摂動させることで人工的背景画像を合成し、アノテーションを必要とせずに訓練データを拡張する。
• 顕著な物体検出を潜在的構造SVM問題として定式化し、スーパーピクセルレベルの顕著性ラベルを隠れ変数としてモデル化する。
• 画像レベルの監視から隠れ顕著性ラベルを推定する構造的予測フレームワークを用いて、顕著性マップを同時に予測する。
• 弱教師付き設定に対応するため、正例と負例の構成間のマージンを最大化する構造的SVMフレームワークを活用する。

実験結果

リサーチクエスチョン

• RQ1 画素単位のアノテーションが一切ない状況でも、スーパーピクセルに1クラスSVMを適用することで顕著領域を効果的に同定できるか？
• RQ2 合成された背景画像は、弱教師付き顕著な物体検出モデルの一般化性能を向上させることができるか？
• RQ3 潜在的構造SVMによる顕著な物体の存在と検出の同時モデル化は、画像レベルのラベルのみで競争力のある性能を達成できるか？
• RQ4 本手法は、顕著な物体が存在しない画像を含むベンチマークデータセットにおいて、完全教師ありベースラインと比較してどのように性能を発揮するか？
• RQ5 構造的SVMにおける隠れ変数定式化は、弱教師付き情報からスーパーピクセルレベルの顕著性ラベルを効果的に回復できるか？

主な発見

• 1クラスSVM手法は、決定境界からのスーパーピクセルの距離を顕著性スコアとして用いることで、競争力のある顕著性検出性能を達成する。
• 画像の摂動によって生成された合成背景画像は、モデルの一般化性能とロバストネスを顕著に向上させる。
• 潜在的構造SVMフレームワークは、画像レベルの存在アノテーションのみを用いて顕著性マップを効果的に予測する学習に成功した。
• 提案手法は、顕著な物体がテスト画像に存在しない場合でも、標準ベンチマークデータセットにおいて既存の弱教師付きベースラインを上回る性能を示した。
• 本モデルは背景画像においても高い性能を維持し、顕著な物体が存在しない場合に妥当で非顕著なマップを生成する一方で、従来手法とは異なり、顕著性が過剰に発生しない。
• 定量的評価では、顕著な物体の存在と検出を統合的にモデル化するフレームワークが、PASCAL-SおよびDUT-OS-5Kで完全教師ありモデルと同等のF-measureスコアを達成した。