[論文レビュー] Hierarchical Saliency Detection on Extended CSSD

Jianping Shi, Qiong Yan+2 more|arXiv (Cornell University)|Aug 11, 2014

Visual Attention and Saliency Detection参考文献 39被引用数 9

ひとこと要約

本稿では、領域ベースのスケール測定と局所一貫性を考慮した推論を用いて、複数スケール層にわたる画像コンテンツを分析する階層的サリエンシー検出フレームワークを提案する。本手法は、小スケールパターンを有する複雑な自然画像において、顕著性検出の精度を顕著に向上させる。本手法は拡張された複雑なシーンサリエンシー・データセット（ECSSD）において最先端の性能を達成し、F-スコアが0.6776に達する。また、細かいテクスチャからの誤検出を低減する新しいスケール測定法を導入している。

ABSTRACT

Complex structures commonly exist in natural images. When an image contains small-scale high-contrast patterns either in the background or foreground, saliency detection could be adversely affected, resulting erroneous and non-uniform saliency assignment. The issue forms a fundamental challenge for prior methods. We tackle it from a scale point of view and propose a multi-layer approach to analyze saliency cues. Different from varying patch sizes or downsizing images, we measure region-based scales. The final saliency values are inferred optimally combining all the saliency cues in different scales using hierarchical inference. Through our inference model, single-scale information is selected to obtain a saliency map. Our method improves detection quality on many images that cannot be handled well traditionally. We also construct an extended Complex Scene Saliency Dataset (ECSSD) to include complex but general natural images.

研究の動機と目的

• 自然画像における小スケールの高コントラストパターンによって引き起こされる誤ったサリエンシー検出という、長年の課題に対処すること。
• 人間の物体サイズおよび構造の認知により適合するスケールに敏感なサリエンシー枠組みを構築すること。
• 従来の手法がテクスチャの混同によって失敗する複雑なシーンにおけるサリエンシー検出のロバスト性を向上させること。
• より現実的な評価を可能にするために、1000枚の挑戦的な自然画像を含む拡張されたベンチマークデータセット（ECSSD）を構築すること。
• 階層的で局所的に一貫性のあるモデルを用いて、複数スケール層にわたる特徴を統合することで、サリエンシー推論を最適化すること。

提案手法

• 本手法は、マルチスケール分解戦略を用いて、前景、ミドルレベル、背景という3つのスケール層を抽出する。
• 人間の視覚認知をよりよく反映するため、単なるピクセル数のカウントに代わって、知覚的物体サイズに基づく新しい領域スケール測定法を導入する。
• 階層的推論モデルが全層からのサリエンシー特徴を統合し、局所的一貫性を強制することで、過剰分割を防ぎ、滑らかで自然なサリエンシー地図を生成する。
• 推論は、各層からのサリエンシー値の重み付き組み合わせを用い、信頼度に基づく選択により、小スケールパターンからのノイズを回避する。
• モデルは、F-スコアの最大化によるしきい値最適化を伴い、拡張された複雑なシーンサリエンシー・データセット（ECSSD）上で訓練および評価される。
• 本フレームワークは、マルチスケールの文脈と局所的滑らかさ制約を活用することで、単層およびツリー構造の推論手法を上回る性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 階層的マルチスケール推論モデルは、自然画像における小スケールテクスチャによって引き起こされる誤った顕著性反応を低減できるか？
• RQ2 人間の知覚に基づいた領域スケール測定法は、単なるピクセル数のカウントを上回る性能を示すか？
• RQ3 スケール層の数は、最終的なサリエンシー地図の品質と計算コストにどのように影響するか？
• RQ4 階層的推論における局所的一貫性の強制は、より自然で一貫性のあるサリエンシー地図を生成できるか？
• RQ5 本手法は、既存のベンチマークと比較して、複雑な現実世界の自然画像においてどの程度性能が向上するか？

主な発見

• 提案手法はECSSDデータセットにおいてF-スコア0.6776を達成し、単層およびツリー構造の推論手法を上回る性能を示した。
• 3層構成が最良の性能を示し、F-スコアは2層で0.6736、5層で0.6710に低下し、3層が最適なスケールカバレッジを実現していることが示された。
• 新しい領域スケール測定法は、細かいテクスチャを有する挑戦的な画像においてF-スコアを顕著に向上させ、従来の測定法（F-スコア0.682）から提案手法（F-スコア0.806）に向上した（スケール33で測定）。
• 階層的推論モデルにおける局所的一貫性の強制は、単純なツリー構造モデルよりも優れた結果をもたらし、F-スコアは0.6776（本手法）対0.6721（ツリー構造）であった。
• 単層のサリエンシー計算は、複雑な画像におけるセグメンテーション誤りのため、F-スコアが0.65未満にとどまり、性能が著しく低い。一方、マルチレイヤー手法は再現率と適合率の両方を向上させた。
• 本手法は、テキストやエッジなど、細く高コントラストな領域からの誤検出（誤って顕著とされる領域）を効果的に抑制した。