[论文解读] Hierarchical Saliency Detection on Extended CSSD

Jianping Shi, Qiong Yan+2 more|arXiv (Cornell University)|Aug 11, 2014

Visual Attention and Saliency Detection参考文献 39被引用 9

一句话总结

本文提出了一种分层显著性检测框架，通过基于区域的尺度度量和局部一致性感知推理，在多尺度层级上分析图像内容，显著提升了在具有小尺度图案的复杂自然图像中的检测精度。该方法在扩展的复杂场景显著性数据集（ECSSD）上实现了最先进性能，F-measure达到0.6776，并引入了一种新型尺度度量，有效减少了细纹理引起的误报。

ABSTRACT

Complex structures commonly exist in natural images. When an image contains small-scale high-contrast patterns either in the background or foreground, saliency detection could be adversely affected, resulting erroneous and non-uniform saliency assignment. The issue forms a fundamental challenge for prior methods. We tackle it from a scale point of view and propose a multi-layer approach to analyze saliency cues. Different from varying patch sizes or downsizing images, we measure region-based scales. The final saliency values are inferred optimally combining all the saliency cues in different scales using hierarchical inference. Through our inference model, single-scale information is selected to obtain a saliency map. Our method improves detection quality on many images that cannot be handled well traditionally. We also construct an extended Complex Scene Saliency Dataset (ECSSD) to include complex but general natural images.

研究动机与目标

• 解决自然图像中因小尺度高对比度图案导致的显著性检测错误这一长期挑战。
• 开发一种尺度感知的显著性框架，使其更符合人类对目标尺寸和结构的感知。
• 提升在复杂场景中显著性检测的鲁棒性，此类场景中传统方法因纹理混淆而失效。
• 构建一个包含1000张具有挑战性的自然图像的扩展基准数据集（ECSSD），以实现更真实的评估。
• 通过分层的、局部一致的模型，融合多尺度层级中的线索，优化显著性推理。

提出的方法

• 该方法采用多尺度分解策略，提取前景、中层和背景三个不同尺度的图像层级。
• 提出一种基于感知目标尺寸的新型区域尺度度量，替代简单的像素计数，以更好地反映人类视觉感知。
• 分层推理模型融合所有层级的显著性线索，通过强制实现局部一致性，防止过度分割并确保显著性图平滑自然。
• 推理过程采用各层级显著性值的加权组合，通过置信度选择机制避免小尺度图案引入的噪声。
• 该模型在扩展的复杂场景显著性数据集（ECSSD）上进行训练和评估，并通过最大化F-measure实现阈值优化。
• 该框架通过利用多尺度上下文和局部平滑约束，优于单层和树状结构的推理方法。

实验结果

研究问题

• RQ1 分层多尺度推理模型能否减少自然图像中因小尺度纹理导致的虚假显著性响应？
• RQ2 基于感知动机的区域尺度度量是否在显著性检测中优于简单的像素计数？
• RQ3 尺度层级的数量如何影响最终显著性图的质量和计算成本？
• RQ4 在分层推理中强制实施局部一致性是否能生成更自然、更连贯的显著性图？
• RQ5 与现有基准相比，该方法在复杂真实自然图像上的性能提升程度如何？

主要发现

• 所提方法在ECSSD数据集上达到0.6776的F-measure，优于单层和树状结构推理方法。
• 三层配置表现最佳，F-measure在两层时降至0.6736，五层时降至0.6710，表明三层在尺度覆盖上达到最优。
• 新型区域尺度度量在具有精细纹理的挑战性图像上显著提升F-measure，使性能从传统度量的0.682提升至所提度量在33尺度下的0.806。
• 分层推理模型中的局部一致性使结果优于更简单的树状结构模型，F-measure分别为0.6776和0.6721。
• 单层显著性计算因复杂图像中的分割错误而表现较差，F-measure低于0.65，而多层方法显著提升了召回率和精确率。
• 该方法能有效抑制由狭窄高对比度区域（如文本或边缘）引起的误报，这些区域在先前方法中常被错误地标记为显著。