[論文レビュー] Supervised Adversarial Networks for Image Saliency Detection

Hengyue Pan, Hui Jiang|arXiv (Cornell University)|Apr 24, 2017

Visual Attention and Saliency Detection参考文献 22被引用数 5

ひとこと要約

本論文では、生成対抗ネットワーク（GAN）に基づく完全教師ありフレームワークとして、画像の顕著性検出のための新規な教師あり対抗ネットワーク（SAN）を提案する。このフレームワークは、顕著性マップを生成する生成器ネットワークと、実際のマップと合成マップを区別する識別器ネットワークを同時に学習する。新しい畳み込み比較層を導入し、学習中にクラスラベルを活用することで、Pascal VOC 2012で最先端の性能を達成し、Fβスコアは0.681を記録した。

ABSTRACT

In the past few years, Generative Adversarial Network (GAN) became a prevalent research topic. By defining two convolutional neural networks (G-Network and D-Network) and introducing an adversarial procedure between them during the training process, GAN has ability to generate good quality images that look like natural images from a random vector. Besides image generation, GAN may have potential to deal with wide range of real world problems. In this paper, we follow the basic idea of GAN and propose a novel model for image saliency detection, which is called Supervised Adversarial Networks (SAN). Specifically, SAN also trains two models simultaneously: the G-Network takes natural images as inputs and generates corresponding saliency maps (synthetic saliency maps), and the D-Network is trained to determine whether one sample is a synthetic saliency map or ground-truth saliency map. However, different from GAN, the proposed method uses fully supervised learning to learn both G-Network and D-Network by applying class labels of the training set. Moreover, a novel kind of layer call conv-comparison layer is introduced into the D-Network to further improve the saliency performance by forcing the high-level feature of synthetic saliency maps and ground-truthes as similar as possible. Experimental results on Pascal VOC 2012 database show that the SAN model can generate high quality saliency maps for many complicate natural images.

研究の動機と目的

• 複雑な背景や曖昧な物体境界を有する画像を扱う際のボトムアップ型顕著性手法の限界を是正すること。
• 完全な監督と構造的変更を加えた生成対抗ネットワーク（GAN）フレームワークを、顕著性検出に適応させること。
• 新規なレイヤー設計により、実際のマップと生成されたマップの特徴レベルの類似性を強制することで、顕著性マップの品質を向上させること。
• 完全教師あり対抗学習の枠組みを用いて、Pascal VOC 2012などのベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 生成器（G-ネットワーク）は、自然画像を入力として受け取り、合成顕著性マップを出力する完全畳み込みネットワークである。
• 識別器（D-ネットワーク）は、入力が真の顕著性マップか合成マップかを分類するように学習され、21クラス（20個の物体クラス + 1つの合成クラス）を用いる。
• D-ネットワークに、実際の顕著性マップと合成マップの高レベル特徴の差を最小化するための新規な畳み込み比較層を導入する。
• 学習プロセスは、識別器を6エポック更新し、その後に生成器を2エポック更新するという交互の更新を繰り返す。学習率の減少を伴うSGDを用いる。
• 後処理として、SLICスーパーピクセルと低レベル特徴（例：Fuらの手法）を用いて、最終的な顕著性マップを精緻化する。
• 訓練データセットのクラスラベルを用いて、G-ネットワークとD-ネットワークの両方を監督することで、完全教師あり対抗学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 完全な監督と対抗学習を組み合わせることで、従来のボトムアップ型または弱教師あり手法と比較して、顕著性検出の性能が向上するか？
• RQ2 提案された畳み込み比較層は、実際のマップと合成マップの高レベル特徴を一致させることで、検出品質を向上させるのにどの程度有効か？
• RQ3 クラスレベルの監督と対抗学習を統合することで、複雑な現実世界の画像への一般化性能が向上するか？
• RQ4 Pascal VOC 2012におけるFβスコアと視覚的品質の観点から、提案されたSANモデルは最先端の顕著性検出手法と比較してどの程度優れているか？

主な発見

• 提案されたSANモデルは、Pascal VOC 2012の検証セットでFβスコア0.681を達成し、RC（0.561）やDeep Saliency（0.678）といったベースライン手法を上回った。
• 対抗学習、完全教師あり学習、および畳み込み比較層の導入により、アブレーションバリアント（例：後処理なしのSANでは0.613）と比較して性能が顕著に向上した。
• 複雑な背景や曖昧な物体境界を有する画像に対しても、定性的な結果から、高品質な顕著性マップが生成されることを示した。
• α=0.8として設定した畳み込み比較層は、実際のマップと合成マップの特徴差を効果的に低減させ、性能向上に寄与した。
• 従来のボトムアップ型手法および最近のCNNベースの顕著性モデルと比較して優れた性能を示し、教師ありGANアプローチの有効性を裏付けた。
• SLICスーパーピクセルと低レベル特徴を用いた後処理により、空間的一致性と境界の正確性が向上し、顕著性マップがさらに精緻化された。