[論文レビュー] A Deep Learning Based Fast Image Saliency Detection Algorithm

Hengyue Pan, Hui Jiang|arXiv (Cornell University)|Feb 1, 2016

Visual Attention and Saliency Detection参考文献 23被引用数 7

ひとこと要約

本稿では、事前学習済み畳み込みニューラルネットワーク（CNN）上で勾配降下法を用いてクラス固有のサリエンシー地図を生成することで、高速なディープラーニングベースのオブジェクトサリエンシー検出手法を提案する。オブジェクト性を強調し、背景を抑制するコスト関数を逆伝播させることで、入力勾配から原始的なサリエンシー地図を計算し、その後SLICスーパーピクセルと低レベル特徴を用いて精錬することで、最先端のディープラーニング手法よりも最大10倍速く、高品質な結果を達成する。

ABSTRACT

In this paper, we propose a fast deep learning method for object saliency detection using convolutional neural networks. In our approach, we use a gradient descent method to iteratively modify the input images based on the pixel-wise gradients to reduce a pre-defined cost function, which is defined to measure the class-specific objectness and clamp the class-irrelevant outputs to maintain image background. The pixel-wise gradients can be efficiently computed using the back-propagation algorithm. We further apply SLIC superpixels and LAB color based low level saliency features to smooth and refine the gradients. Our methods are quite computationally efficient, much faster than other deep learning based saliency methods. Experimental results on two benchmark tasks, namely Pascal VOC 2012 and MSRA10k, have shown that our proposed methods can generate high-quality salience maps, at least comparable with many slow and complicated deep learning methods. Comparing with the pure low-level methods, our approach excels in handling many difficult images, which contain complex background, highly-variable salient objects, multiple objects, and/or very small salient objects.

研究の動機と目的

• 複雑な背景や小さな可変なサリエントオブジェクトを含む画像においても高い精度を維持しつつ、計算効率の高いサリエンシー検出のニーズに対応すること。
• 高背景複雑性や複数のサリエントオブジェクトを含む画像ではしばしば失敗する、従来の低レベル特徴に基づくサリエンシー手法の限界を克服すること。
• 高価な後処理や微調整を必要とせず、ディープCNNの表現力を利用する手法を開発すること。
• エンドツーエンド学習や複雑なアーキテクチャを必要とせず、リアルタイム性能を達成しながらも、遅延の大きいがより高精度なディープラーニングサリエンシー・モデルと同等またはそれを上回る品質を実現すること。

提案手法

• 画像分類用の事前学習済みディープ畳み込みニューラルネットワーク（DCNN）を、サリエンシー検出のバックボーンとして用いる。
• クラス固有のオブジェクト性を測るコスト関数を定義し、クラスに該当しない出力をペナルティ化することで、背景の一貫性を維持する。
• コスト関数の勾配をネットワーク全体を逆伝播させ、入力層まで伝播させることで、入力画像を段階的に最適化する勾配降下法を適用する。
• 数ステップの勾配降下法を実行した後、元の入力画像と最適化された入力画像とのL2差分として原始的なサリエンシー地図を抽出する。
• ノイズを低減し、空間的整合性を向上させるために、原始的なサリエンシー地図をSLICスーパーピクセルを用いて平滑化する。
• 境界の正確性と詳細の強化を図るため、低レベルサリエンシー特徴（例：色のコントラスト、明るさ）を組み合わせてサリエンシー地図を精錬する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みDCNN上で勾配ベース最適化を適用することで、従来のディープラーニング手法よりも効率的に高品質なサリエンシー地図を生成できるか？
• RQ2 本手法は、複雑な背景、複数のサリエントオブジェクト、または非常に小さなサリエント領域を含む画像において、低レベル特徴ベース手法と比較してどのように性能を発揮するか？
• RQ3 SLICスーパーピクセルと低レベル特徴の統合は、勾配ベース最適化から得られるサリエンシー地図の品質と耐性をどの程度向上させるか？
• RQ4 Pascal VOC 2012 や MSRA10k といったベンチマークデータセットにおいて、本手法は最先端のディープラーニングサリエンシー・モデルと比較して、速度と精度の面でどのように差をつけるか？

主な発見

• 本手法は1枚のGPU上で平均して1枚あたり約0.45秒の推論時間を達成しており、[25]で提示された最先端手法と比較してほぼ10倍速い。
• Pascal VOC 2012 データセットでは、本手法はリージョンコントラスト法[6]およびDCNNベース手法[19]をPR曲線およびFβスコアの両面で上回り、[25]と同等の性能を示した。
• MSRA10k データセットでは[25]にわずかに劣るが、微調整を行わず、不適合なImageNetで学習済みDCNNを用いても、依然として[6]および[19]を顕著に上回った。
• 複雑な背景、複数のサリエントオブジェクト、または非常に小さなサリエント領域を含む困難な画像において、本手法は低レベル手法が失敗する状況でも優れた耐性を示した。
• SLICスーパーピクセルと低レベル特徴の統合により、サリエンシー地図の品質が顕著に向上し、ノイズ低減と境界の局所化精度向上が達成された。
• 勾配降下法によって生成された原始的なサリエンシー地図は有効であり、精錬パイプラインのおかげでエンドツーエンド学習や複雑なアーキテクチャを必要とせずに高忠実度の結果が得られた。