[论文解读] HSCS: Hierarchical Sparsity Based Co-saliency Detection for RGBD Images

Runmin Cong, Jianjun Lei+4 more|arXiv (Cornell University)|Nov 16, 2018

Visual Attention and Saliency Detection参考文献 67被引用 4

一句话总结

本文提出HSCS，一种用于RGBD图像的分层稀疏性协同显著性检测方法，通过利用全局与成对稀疏性重建来建模图像间关系，并结合能量函数优化以提升平滑性与一致性。该方法在两个RGBD协同显著性基准上达到最先进性能，无论在定量还是定性评估中均优于现有方法，且在引入深度信息后F-measure提升达8.4%。

ABSTRACT

Co-saliency detection aims to discover common and salient objects in an image group containing more than two relevant images. Moreover, depth information has been demonstrated to be effective for many computer vision tasks. In this paper, we propose a novel co-saliency detection method for RGBD images based on hierarchical sparsity reconstruction and energy function refinement. With the assistance of the intra saliency map, the inter-image correspondence is formulated as a hierarchical sparsity reconstruction framework. The global sparsity reconstruction model with a ranking scheme focuses on capturing the global characteristics among the whole image group through a common foreground dictionary. The pairwise sparsity reconstruction model aims to explore the corresponding relationship between pairwise images through a set of pairwise dictionaries. In order to improve the intra-image smoothness and inter-image consistency, an energy function refinement model is proposed, which includes the unary data term, spatial smooth term, and holistic consistency term. Experiments on two RGBD co-saliency detection benchmarks demonstrate that the proposed method outperforms the state-of-the-art algorithms both qualitatively and quantitatively.

研究动机与目标

• 为解决在多张RGBD图像中检测共同显著对象的挑战，其中现有协同显著性方法对深度信息的利用不足。
• 通过捕捉图像组之间的全局与局部关系，改进图像间对应关系建模。
• 通过能量函数优化模型增强图像内平滑性与图像间一致性。
• 开发一种高效的协同显著性检测框架，相比基于匹配或传播的方法降低计算成本。

提出的方法

• 提出一种分层稀疏性重建模型，包含基于排序机制的全局稀疏性重建，以捕捉整个图像组中的共同前景特征。
• 采用成对稀疏性重建，利用专用的成对前景字典来建模图像对之间的局部对应关系。
• 引入多分量能量函数，整合一元数据项、空间平滑项与整体一致性项，以优化显著性图。
• 通过排序机制选择前景种子，过滤背景区域，从而提升字典学习的鲁棒性。
• 在图像间对应关系建模中将深度信息作为约束，在优化阶段作为颜色特征补充。
• 使用超像素对图像进行分割，优化初始前景种子数量以平衡重建精度与背景噪声。

实验结果

研究问题

• RQ1 如何有效将深度信息整合到RGBD图像组的协同显著性检测中以提升精度？
• RQ2 结合全局与成对重建的分层稀疏性模型对图像间对应关系建模有何影响？
• RQ3 所提出的能量函数优化模型如何增强图像内平滑性与图像间一致性？
• RQ4 用于前景种子选择的排序机制在多大程度上提升了对背景干扰的鲁棒性？
• RQ5 与现有最先进协同显著性检测方法相比，该方法在RGBD数据集上的效率与精度表现如何？

主要发现

• 在RGBD CoSal150数据集上，引入深度信息使F-measure相对提升8.4%，证明其在提升协同显著性检测性能方面的有效性。
• 前景种子选择的排序机制显著提升性能，通过过滤背景区域实现，定性结果与定量增益均证实其有效性。
• 每张图像的最优初始前景种子数量为40个，超过此数量后性能下降，原因在于背景噪声增加。
• 该方法每张图像的平均运行时间为8.29秒，显著快于基于匹配的方法（如MCLP为41.03秒，ICS为42.67秒）。
• 最优超像素数量为400，尽管在一定范围内性能保持稳定，表明对这一参数不敏感。
• 所提出的HSCS方法在RGBD CoSal150与NYU-DepthV2协同显著性检测基准上均达到最先进性能，在定性与定量评估中均优于现有方法。