[论文解读] Contextual Hypergraph Modelling for Salient Object Detection

Xi Li, Yao Li+3 more|arXiv (Cornell University)|Oct 22, 2013

Visual Attention and Saliency Detection参考文献 33被引用 11

一句话总结

本文提出了一种新颖的显著性目标检测框架，结合上下文超图建模与基于代价敏感SVM的中心-周围对比分析。通过将图像表示为超图以捕捉超像素之间的多尺度上下文关系，并优化最大间隔学习目标以实现局部显著性，该方法在四个基准数据集上实现了最先进性能，在精度、F-measure和视觉一致性方面优于12种现有方法。

ABSTRACT

Salient object detection aims to locate objects that capture human attention within images. Previous approaches often pose this as a problem of image contrast analysis. In this work, we model an image as a hypergraph that utilizes a set of hyperedges to capture the contextual properties of image pixels or regions. As a result, the problem of salient object detection becomes one of finding salient vertices and hyperedges in the hypergraph. The main advantage of hypergraph modeling is that it takes into account each pixel's (or region's) affinity with its neighborhood as well as its separation from image background. Furthermore, we propose an alternative approach based on center-versus-surround contextual contrast analysis, which performs salient object detection by optimizing a cost-sensitive support vector machine (SVM) objective function. Experimental results on four challenging datasets demonstrate the effectiveness of the proposed approaches against the state-of-the-art approaches to salient object detection.

研究动机与目标

• 解决传统显著性检测方法仅依赖局部或全局对比而未建模丰富上下文关系的局限性。
• 引入超图表示作为建模像素/区域亲和性与与背景分离性的结构化方式，增强上下文建模能力。
• 将中心-周围对比形式化为代价敏感的最大间隔学习问题，以实现精确的局部显著性度量。
• 通过多尺度融合，结合超图与SVM-based显著性方法，提升鲁棒性与准确性。
• 在标准基准数据集上评估所提方法，并在定量指标与视觉质量方面证明其优越性。

提出的方法

• 将图像表示为超图，其中顶点为超像素，超边基于非参数聚类将空间上一致且视觉上相似的超像素分组。
• 通过识别超图中显著的顶点与超边来检测显著性，利用区域内部一致性与边界强度。
• 训练代价敏感SVM以区分中心图像块（正例）与重叠的周围块（负例），显著性通过归一化的SVM编码长度度量。
• 构建并融合多尺度超边以生成最终显著性图，提升跨尺度检测的鲁棒性。
• 通过融合超图与SVM-based方法的结果获得最终显著性图，提升平滑性与准确性。
• 采用自适应阈值进行显著目标分割，并集成至图像重定向处理流程中，以保留显著内容。

实验结果

研究问题

• RQ1 超图建模能否有效捕捉图像区域之间复杂的上下文关系，从而提升显著性检测性能？
• RQ2 将中心-周围对比形式化为代价敏感SVM优化问题，是否能带来更精确的局部显著性估计？
• RQ3 超图与SVM-based显著性方法的融合，相比单一组件，能否显著提升整体检测性能？
• RQ4 所提方法是否能在标准显著性检测基准上实现最先进性能，涵盖精度、召回率与F-measure？
• RQ5 该方法是否能生成视觉一致且结构准确的显著性图，适用于图像重定向等下游任务？

主要发现

• 在固定召回率下，该方法在多数情况下达到最高精度，如四组数据集的PR曲线所示。
• 在MSRA-1000与SOD基准上，该方法取得最佳F-measure，优于12种最先进方法。
• 在SED-100数据集上，该方法排名第二，F-measure略低于GS SP；在Imgsal-50上，位列前二，略低于CB。
• 该方法在各数据集上均获得最高VOC重叠分数且方差较低，表明显著区域定位具有强一致性与高准确性。
• 视觉对比显示，该方法生成的显著性图更具视觉合理性，分割结果更接近真实标签。
• 在图像重定向应用中，该方法优于基线[18]，能更有效地保留显著内容。