[論文レビュー] Robust Saliency Detection via Fusing Foreground and Background Priors

Kan Huang, Chunbiao Zhu+1 more|arXiv (Cornell University)|Nov 1, 2017

Visual Attention and Saliency Detection参考文献 12被引用数 3

ひとこと要約

本稿では、周囲の手がかりと測地的距離の微調整を用いて、前景と背景の事前知識を統合する、頑健なボトムアップの注目度検出フレームワークを提案する。高周囲性領域からのスーパーピクセルベースの前景シードと、画像の端縁からの背景事前知識を併用し、測地的距離重み付けによる微調整を施すことで、学習データを必要とせず、リアルタイム利用に適した効率的な設計でありながら、ASDでは平均AUC 0.9446、DUT-OMRONでは0.7619を達成し、11の最先端手法を上回る最先端の性能を発揮する。

ABSTRACT

Automatic Salient object detection has received tremendous attention from research community and has been an increasingly important tool in many computer vision tasks. This paper proposes a novel bottom-up salient object detection framework which considers both foreground and background cues. First, A series of background and foreground seeds are selected from an image reliably, and then used for calculation of saliency map separately. Next, a combination of foreground and background saliency map is performed. Last, a refinement step based on geodesic distance is utilized to enhance salient regions, thus deriving the final saliency map. Particularly we provide a robust scheme for seeds selection which contributes a lot to accuracy improvement in saliency detection. Extensive experimental evaluations demonstrate the effectiveness of our proposed method against other outstanding methods.

研究の動機と目的

• 単一の前景または背景事前知識に依存する既存の注目度検出手法の限界を解決すること。
• 前景と背景からの補完的特徴を統合することで、顕著なオブジェクト検出の精度と頑健性を向上させること。
• 周囲性と統計的閾値に基づいて、前景および背景シードに対する信頼度を割り当てる信頼性の高いシード推定方式を開発すること。
• 測地的距離に基づく微調整により、注目度マップの均一性と境界の正確性を向上させること。
• 学習データを必要とせず、リアルタイム利用に適した効率性を維持しながら、注目度検出で最先端の性能を達成すること。

提案手法

• BMSアルゴリズムから導出された周囲性マップを用いて、ノイズ低減と構造保持のためSLICにより生成されたスーパーピクセルを用いて前景シードを抽出する。
• 周囲性値の平均値に基づく閾値を用いて強力なおよび弱い前景シードを定義する：強力なシードは $ S_p(i) \geq 2 \cdot \text{mean}(S_p) $ を満たし、弱いシードは $ \text{mean}(S_p) \leq S_p(i) < 2 \cdot \text{mean}(S_p) $ を満たす。
• 内因的多様体構造に基づくスコア伝搬を用いたグラフベースのランク付け手法により、前景注目度を計算する。
• 画像の端縁領域から背景事前知識を抽出し、同じランク付けメカニズムを用いて別個の背景注目度マップを計算する。
• 各マップの平均値を超える要素を統合し、その組み合わせを新たなシードとして再ランク付けすることで、前景と背景の注目度マップを統合する。
• 最終的な注目度マップを測地的距離に基づく重み付けで微調整する：$ S_{final}(q) = \sum_j \delta_{qj} \cdot S_{com}(j) $、ここで $ \delta_{qj} = \exp\left(-\frac{d_g^2(p,i)}{2\sigma_c^2}\right) $、$ d_g $ はスーパーピクセルグラフ上の最短経路距離を表す。

実験結果

リサーチクエスチョン

• RQ1 前景と背景の両方の事前知識を統合することで、単一の事前知識に依存する手法と比較して、ボトムアップの注目度検出の頑健性と精度が向上するか？
• RQ2 周囲性の手がかりは、注目度検出のための信頼できる前景シードを特定するのにどの程度有効か？
• RQ3 信頼度ベースのシード推定方式（強力なシード vs. 弱いシード）は、固定閾値による手法と比較して性能向上をもたらすか？
• RQ4 測地的距離に基づく微調整は、注目度領域の均一性を向上させるとともに境界の局所化を改善するか？
• RQ5 提案された統合と微調整フレームワークは、ベンチマークデータセットにおいて、既存の最先端手法をどの程度上回るか？

主な発見

• 提案手法はASDデータセットで平均AUC 0.9446を達成し、BMS、CAS、wCtrを含む11の比較対象最先端手法をすべて上回った。
• より困難なDUT-OMRONデータセットでは、平均AUC 0.7619を達成し、GBVS、ITTI、PCAを含むすべてのベースラインを上回った。
• ASDでは平均絶対誤差（MAE）が0.0596、DUT-OMRONでは0.1068を記録し、注目度マップ推定の高精度を示した。
• 可視化比較では、競合モデルと比較して、顕著なオブジェクトがより均一に強調され、境界の保持が優れていた。
• 測地的距離微調整ステップは、特に顕著オブジェクトの内部領域の強調を向上させ、注目度マップの均一性を顕著に改善した。
• 学習不要のボトムアップ設計のおかげで、高い効率性を維持しており、リアルタイム応用に適している。