[論文レビュー] Deep Learning for Object Saliency Detection and Image Segmentation

Hengyue Pan, Bo Wang+1 more|arXiv (Cornell University)|May 5, 2015

Visual Attention and Saliency Detection参考文献 18被引用数 19

ひとこと要約

本論文は、事前に学習された畳み込みニューラルネットワーク（DCNN）を用いた勾配ベース最適化を用いて、オブジェクトの注目度検出のための新しい深層学習手法を提案する。クラス固有のオブジェクト性コスト関数を最小化するために勾配降下法を用いて入力画像を繰り返し変更することで、元の画像と変更後の画像の差分として高品質な注目度マップを生成する。この手法は1枚のGPUで1秒間に20～40枚の推論速度を達成し、MS COCOおよびPascal VOC 2012で既存手法を顕著に上回り、複雑な背景、小さなオブジェクト、複数の注目オブジェクトを含む挑戦的な画像において特に優れた性能を示す。

ABSTRACT

In this paper, we propose several novel deep learning methods for object saliency detection based on the powerful convolutional neural networks. In our approach, we use a gradient descent method to iteratively modify an input image based on the pixel-wise gradients to reduce a cost function measuring the class-specific objectness of the image. The pixel-wise gradients can be efficiently computed using the back-propagation algorithm. The discrepancy between the modified image and the original one may be used as a saliency map for the image. Moreover, we have further proposed several new training methods to learn saliency-specific convolutional nets for object saliency detection, in order to leverage the available pixel-wise segmentation information. Our methods are extremely computationally efficient (processing 20-40 images per second in one GPU). In this work, we use the computed saliency maps for image segmentation. Experimental results on two benchmark tasks, namely Microsoft COCO and Pascal VOC 2012, have shown that our proposed methods can generate high-quality salience maps, clearly outperforming many existing methods. In particular, our approaches excel in handling many difficult images, which contain complex background, highly-variable salient objects, multiple objects, and/or very small salient objects.

研究の動機と目的

• 深層畳み込みニューラルネットワークを用いた計算効率の高いオブジェクト注目度検出手法の開発。
• ピクセル単位のセグメンテーションアノテーションを活用して、注目度に特化したDCNNを学習させ、性能を向上させる。
• 画像セグメンテーションパイプラインを効果的に駆動できる高品質な注目度マップの生成。
• 複雑な画像における注目度検出の課題、特に複数、小規模、または非常に変動の大きい注目オブジェクトへの対処。
• 1枚のGPUで1秒間に20～40枚の推論速度を達成しながら、高い精度を維持したリアルタイム性能の実現。

提案手法

• DCNNの分類損失から勾配を逆伝播させて、クラス固有のオブジェクト性を最大化するように入力画像のピクセルを繰り返し最適化する勾配降下法を用いる。
• 最適化後の画像と元の画像とのL2差分として注目度マップを計算する。
• 注目オブジェクトを除去したマスク画像を用いて、異なる文脈でのオブジェクト性を学習するため、元の画像とマスク画像の両方を用いて複数のDCNNを訓練する。
• 2段階の訓練戦略を採用：1つのDCNNを元の画像、もう1つのDCNNをマスク画像に使用し、それぞれの状況におけるオブジェクト性を測る損失関数を設計する。
• 最適化された画像からの注目度マップをMCGベースのセグメンテーションアルゴリズムの入力として用い、最終的な画像セグメンテーションを生成する。
• 精緻化の前に、注目度マップを膨張および収縮処理して平滑化し、局所化精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みDCNNを通じて入力画像を勾配ベースで最適化することで、オブジェクト検出に適した高品質な注目度マップを生成できるか？
• RQ2 DCNNの学習中にマスク画像を組み込むことで、注目度検出性能がどのように向上するか？
• RQ3 提案手法は、ベンチマークデータセットで既存手法を上回りつつ、1秒間に20～40枚の推論速度を達成できるか？
• RQ4 複雑な背景、複数の注目オブジェクト、または非常に小さなオブジェクトを含む画像において、この手法はどの程度効果的か？
• RQ5 この手法で生成された注目度マップは、下流の画像セグメンテーション性能をどの程度向上させるか？

主な発見

• 提案手法は1枚のGPUで1秒間に20～40枚の推論速度を達成し、リアルタイム応用に非常に効率的である。
• MS COCOデータセットでは、[6]および[21]をFβスコアで上回り、最も優れたバリエーション（CNN2+CNN3）が最高のFβ値を記録した。
• Pascal VOC 2012では、[6]と同等のFβスコアを達成し、わずかに優れているが、ドメイン内で微調整された画像の数が少ないにもかかわらず、[6]と同等の性能を示した。
• 学習中にマスク画像を用いることで、特に複雑なシーンにおける注目オブジェクトの局所化性能が顕著に向上した。
• SaliencyCutアルゴリズムにこの手法で生成された注目度マップを入力することで、COCOおよびVOC 2012の両方でベースライン手法を上回る優れた画像セグメンテーション結果が得られた。
• 可視化例では、複雑な背景や複数の注目領域を含む画像においても、この手法が注目オブジェクトを効果的に局所化できており、リージョンコントラストなどのボトムアップ手法が失敗する状況でも有効であることが示された。