[論文レビュー] Automatic Salient Object Detection for Panoramic Images Using Region Growing and Fixation Prediction Model

Chunbiao Zhu, Kan Huang+1 more|arXiv (Cornell University)|Oct 10, 2017

Visual Attention and Saliency Detection参考文献 4被引用数 6

ひとこと要約

この論文は、空間的密度パターン、注視予測モデル、最大値正規化、測地的リファインメントを統合することで、パノラマ画像における正確なサリエンシーマップを生成する、二段階の領域拡大と注視予測モデルを組み合わせた新しいボトムアップのサリエンシー検出フレームワークを提案する。この手法は、パノラマ画像および従来の画像データセットの両方で最先端の性能を達成しており、公平な評価を可能にするために公開された新規のデータセット（SalPan）を併せて提供する。

ABSTRACT

Almost all previous works on saliency detection have been dedicated to conventional images, however, with the outbreak of panoramic images due to the rapid development of VR or AR technology, it is becoming more challenging, meanwhile valuable for extracting salient contents in panoramic images. In this paper, we propose a novel bottom-up salient object detection framework for panoramic images. First, we employ a spatial density estimation method to roughly extract object proposal regions, with the help of region growing algorithm. Meanwhile, an eye fixation model is utilized to predict visually attractive parts in the image from the perspective of the human visual search mechanism. Then, the previous results are combined by the maxima normalization to get the coarse saliency map. Finally, a refinement step based on geodesic distance is utilized for post-processing to derive the final saliency map. To fairly evaluate the performance of the proposed approach, we propose a high-quality dataset of panoramic images (SalPan). Extensive evaluations demonstrate the effectiveness of our proposed method on panoramic images and the superiority of the proposed method against other methods.

研究の動機と目的

• VR/AR技術の普及に伴い増加するパノラマ画像における顕著なオブジェクト検出の課題に対処すること。
• 広視野の画像に対して人間の視覚的注意に類似した、強力で効率的かつ生物学的にインスパイアされた方法を開発すること。
• サリエンシー検出アルゴリズムの公平な評価を可能にするために、正確な真値を備えた高品質な公開可能なパノラマ画像データセット（SalPan）を作成すること。
• 本手法の汎用性を、パノラマ画像を超えて小規模なターゲット検出や従来の画像にも適用可能な点を示すこと。

提案手法

• 空間的密度パターンに基づいて、パノラマ画像内の初期オブジェクト候補領域を抽出する二段階の領域拡大アルゴリズムを用いる。
• 人間の視覚的注意メカニズムにインspiredされた注視予測モデルを統合し、視覚的に顕著な領域を特定する。
• 領域拡大と注視予測から得られるサリエンシーマップを最大値正規化を用いて融合し、粗いサリエンシーマップを生成する。
• 境界の正確性を向上させるために、測地的距離に基づくリファインメントステップを適用する。
• 高解像度のパノラマ画像におけるサリエンシー計算のための新しい特徴表現として、空間的密度マップを導入する。
• 効率的かつ柔軟に適合可能なフレームワークとして設計されており、CPUおよびGPUの両方での実行をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ボトムアップのサリエンシー検出フレームワークは、複雑な背景や広視野の特徴を持つパノラマ画像の独自の課題を効果的に処理できるか？
• RQ2 領域拡大と注視予測の統合は、パノラマシーンのサリエンシー検出精度をどのように向上させるか？
• RQ3 提案手法は、従来の画像や小規模なターゲット検出タスクへどの程度一般化可能か？
• RQ4 新規に公開された高品質なパノラマデータセット（SalPan）は、サリエンシー検出アルゴリズムの公平かつ信頼性のあるベンチマーク評価を可能にするか？

主な発見

• 提案手法は、新たに導入されたSalPanデータセットで最先端の性能を達成しており、定量的および定性的な評価の両方で既存手法を上回っている。
• 本手法は強力なロバスト性と効率性を示しており、同じハードウェア上での多数の従来手法および深層学習ベースのサリエンシー手法よりも高速な推論時間を達成している。
• SalPanおよび従来のデータセット（ECSSD、DUT-OMRON、SED）における視覚的比較では、単一および複数の顕著なオブジェクトを優れた精度で検出している。
• 本手法は小規模なターゲット検出にも成功した汎用性を示しており、ベンチマーク小規模ターゲットデータセットでも競争力のある結果を達成しており、広範な適用可能性を示している。
• 測地的リファインメントステップは、ごみだらけの背景を伴う複雑なシーンにおいて境界の正確性を顕著に向上させている。
• SalPanデータセットおよびソースコードの公開により、今後のパノラマ画像サリエンシー検出分野の研究が加速すると期待される。