[论文解读] PISA: Pixelwise Image Saliency by Aggregating Complementary Appearance Contrast Measures with Edge-Preserving Coherence

Keze Wang, Liang Lin+3 more|arXiv (Cornell University)|May 12, 2015

Visual Attention and Saliency Detection参考文献 49被引用 91

一句话总结

PISA 通过聚合互补的颜色和结构对比特征，并保持边缘的相干性，提出了一种统一的像素级图像显著性检测框架。它通过能量最小化联合建模显著性置信度与邻域一致性，并使用代价体积滤波生成细粒度、细节保留的显著性图，在多个基准测试中优于当前最先进方法，同时提供一种快速变体（F-PISA），实现14倍的速度提升。

ABSTRACT

Driven by recent vision and graphics applications such as image segmentation and object recognition, computing pixel-accurate saliency values to uniformly highlight foreground objects becomes increasingly important. In this paper, we propose a unified framework called PISA, which stands for Pixelwise Image Saliency Aggregating various bottom-up cues and priors. It generates spatially coherent yet detail-preserving, pixel-accurate and fine-grained saliency, and overcomes the limitations of previous methods which use homogeneous superpixel-based and color only treatment. PISA aggregates multiple saliency cues in a global context such as complementary color and structure contrast measures with their spatial priors in the image domain. The saliency confidence is further jointly modeled with a neighborhood consistence constraint into an energy minimization formulation, in which each pixel will be evaluated with multiple hypothetical saliency levels. Instead of using global discrete optimization methods, we employ the cost-volume filtering technique to solve our formulation, assigning the saliency levels smoothly while preserving the edge-aware structure details. In addition, a faster version of PISA is developed using a gradient-driven image sub-sampling strategy to greatly improve the runtime efficiency while keeping comparable detection accuracy. Extensive experiments on a number of public datasets suggest that PISA convincingly outperforms other state-of-the-art approaches. In addition, with this work we also create a new dataset containing $800$ commodity images for evaluating saliency detection. The dataset and source code of PISA can be downloaded at http://vision.sysu.edu.cn/project/PISA/

研究动机与目标

• 解决现有显著性方法仅依赖颜色或基于超像素表示所带来的局限性。
• 实现均匀的、像素级精确的显著性突出显示，同时保留精细细节并处理复杂的前景/背景结构。
• 通过全局上下文和图像域先验，联合建模显著性置信度与空间一致性。
• 开发一种高效、可扩展的解决方案，实现实时显著性检测而不损失准确性。

提出的方法

• 使用特征自适应、密集重叠的局部区域，聚合互补的外观线索——颜色对比和结构对比。
• 基于特征空间中的全局稀有性（颜色/结构直方图）结合空间先验（中心偏好和边界排除），建模显著性置信度。
• 将显著性分配表述为带有邻域一致性约束的能量最小化问题，实现平滑但边缘感知的输出。
• 使用形状自适应的代价体积滤波，而非全局离散优化，以高效分配细粒度的显著性水平。
• 提出一种快速变体 F-PISA，通过梯度驱动的图像下采样加速计算，仅造成最小的精度损失。
• 采用类似 Sigmoid 的归一化方法，将显著性置信度映射到离散级别，提升视觉质量与 MAE 分数。

实验结果

研究问题

• RQ1 如何有效聚合互补的外观线索（颜色与结构）以提升显著性检测的准确性？
• RQ2 如何在像素级显著性框架中联合建模空间一致性和边缘感知的细节保留？
• RQ3 全局非局部特征建模方法是否能优于局部基于超像素的方法？
• RQ4 何种归一化策略能最好地平衡显著性映射的视觉质量与定量性能？
• RQ5 如何在不降低检测准确性的前提下显著提升计算效率？

主要发现

• PISA 在六个公开数据集上达到最先进性能，在精度和平均绝对误差（MAE）方面均优于现有方法。
• 所提出的类似 Sigmoid 的归一化方法在 PASCAL-1500 数据集上取得了最佳的 F0.3 和 MAE 分数，优于线性、对数类和指数类替代方案。
• F-PISA 在保持与运行时排名前五名方法相当的精度的同时，实现了相比原始 PISA 14 倍的速度提升。
• 使用全局特征稀有性和空间先验显著提升了显著性均匀性，尤其在颜色相似或结构异质的复杂场景中表现更优。
• 通过使用代价体积滤波而非后处理平滑，该方法有效保留了边缘感知的细节，避免了物体边界的模糊。
• 该框架对多样的图像模式具有鲁棒性，如在包含新创建的 800 张商品图像数据集在内的多个数据集上均表现出一致的优异性能。