[論文レビュー] Salient Object Detection via Augmented Hypotheses

Tam Nguyen, José Sepúlveda|arXiv (Cornell University)|May 29, 2015

Visual Attention and Saliency Detection参考文献 31被引用数 10

ひとこと要約

本稿では、オブジェクト性仮説から導出されるオブジェクト性、フォアグラウンド、コンパクト性マップを統合することで、ピクセル単位の正確なサリエンシーマップを生成する、拡張仮説（AH）フレームワークを提案する。この手法は、MSRA-1000およびiCoSegデータセットにおいて、平均絶対誤差（MAE）でそれぞれ前人最高水準の手法を24%および25%上回り、リアルタイムの効率性を維持している。

ABSTRACT

In this paper, we propose using extit{augmented hypotheses} which consider objectness, foreground and compactness for salient object detection. Our algorithm consists of four basic steps. First, our method generates the objectness map via objectness hypotheses. Based on the objectness map, we estimate the foreground margin and compute the corresponding foreground map which prefers the foreground objects. From the objectness map and the foreground map, the compactness map is formed to favor the compact objects. We then derive a saliency measure that produces a pixel-accurate saliency map which uniformly covers the objects of interest and consistently separates fore- and background. We finally evaluate the proposed framework on two challenging datasets, MSRA-1000 and iCoSeg. Our extensive experimental results show that our method outperforms state-of-the-art approaches.

研究の動機と目的

• シャープでコンパクトな境界を持つサリエントオブジェクトを検出する課題に取り組み、背景やノイズと区別する。
• ぼやけたマップや局所的特徴に過剰に重きを置く既存のサリエンスモデルを改善し、構造的および文脈的情報を統合する。
• 複雑で高次元の特徴空間に依存せずに、計算効率が良く、高い正確性と再現率を維持する手法を開発する。
• オブジェクト性仮説を基盤として用いることで、サリエンスオブジェクト検出とオブジェクト検出を統合する。
• ベンチマークデータセットにおいて、定量的指標（F-measure、MAE）と正解との視覚的整合性の両面で優れた性能を達成する。

提案手法

• カテゴリに依存しないスライディングウィンドウ手法を用いて、潜在的なオブジェクト領域を特定するオブジェクト性仮説を生成する。
• すべてのオブジェクト仮説を集約してオブジェクト性マップを構築し、サリエントオブジェクトを含む可能性の高い領域を強調する。
• オブジェクト性マップからフォアグラウンドマージンを推定し、推定された背景からの色のずれに基づいてフォアグラウンドマップを計算する。
• 画像をスーパーピクセルに過剰分割し、空間的分布およびスーパーピクセル領域内でのサリエンシー伝搬に基づいてコンパクト性マップを計算する。
• 学習されたまたはヒューリスティックな重み付け方式を用いて、オブジェクト性、フォアグラウンド、コンパクト性マップを融合し、最終的なピクセル単位のサリエンシーマップを生成する。
• 境界の微調整と、背景応答の抑制を目的とした、サリエントオブジェクトの均一なカバレッジを保証する後処理を適用する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト性仮説にフォアグラウンドおよびコンパクト性の手がかりを効果的に統合することで、サリエンス検出の精度が向上するか？
• RQ2 複数の補完的特徴（オブジェクト性、フォアグラウンド、コンパクト性）の統合が、サリエントオブジェクト検出の正確性と再現率に与える影響はいかほどか？
• RQ3 MAE、F-measure、計算効率の観点から、提案手法はSOTA手法をどの程度上回るか？
• RQ4 MSRA-1000およびiCoSegのような困難なデータセットにおいて、優れた精度を達成しながらも、リアルタイム性能を維持できるか？
• RQ5 コンパクト性マップとフォアグラウンドマップの統合により、従来のサリエンスモデルと比較して過剰分割や境界のぼやけが軽減されるか？

主な発見

• 提案された拡張仮説（AH）手法は、MSRA-1000データセットにおいて、前人最高水準の手法を平均絶対誤差（MAE）で24%上回った。
• iCoSegデータセットでは、最高性能を示したベースラインと比較して、MAEで25%の改善を達成し、一貫した優位性を示した。
• MSRA-1000およびiCoSegの両データセットにおいて、10以上のベースラインと比較して、精度／再現率およびF-measureの両指標で優れた性能を示し、最高のF-measureと最良の全体順位を達成した。
• AHフレームワークはリアルタイムで動作し、標準PC上での平均推論時間は1枚あたり0.07秒であり、CA（51.2秒）よりも速く、最良性能を示すC++ベースの手法と同等の速度を達成した。
• アブレーションスタディの結果、オブジェクト性、フォアグラウンド、コンパクト性マップの個々のコンponentはベースラインと同等の性能を示したが、それらの統合により性能が顕著に向上した。
• 本手法は、正解と密接に一致する明確で一貫性のあるサリエンシーマップを生成し、主なサリエントオブジェクトに焦点を当て、背景の活性化を最小限に抑える。