[论文解读] Automatic Salient Object Detection for Panoramic Images Using Region Growing and Fixation Prediction Model

Chunbiao Zhu, Kan Huang+1 more|arXiv (Cornell University)|Oct 10, 2017

Visual Attention and Saliency Detection参考文献 4被引用 6

一句话总结

本文提出了一种新颖的全景图像自底向上显著性检测框架，结合双阶段区域生长与眼动预测模型，生成高精度显著性图。通过整合空间密度模式、眼动建模、最大值归一化以及测地线优化，该方法在全景图像和常规图像数据集上均达到最先进性能，并发布了新的公开数据集（SalPan）以实现公平评估。

ABSTRACT

Almost all previous works on saliency detection have been dedicated to conventional images, however, with the outbreak of panoramic images due to the rapid development of VR or AR technology, it is becoming more challenging, meanwhile valuable for extracting salient contents in panoramic images. In this paper, we propose a novel bottom-up salient object detection framework for panoramic images. First, we employ a spatial density estimation method to roughly extract object proposal regions, with the help of region growing algorithm. Meanwhile, an eye fixation model is utilized to predict visually attractive parts in the image from the perspective of the human visual search mechanism. Then, the previous results are combined by the maxima normalization to get the coarse saliency map. Finally, a refinement step based on geodesic distance is utilized for post-processing to derive the final saliency map. To fairly evaluate the performance of the proposed approach, we propose a high-quality dataset of panoramic images (SalPan). Extensive evaluations demonstrate the effectiveness of our proposed method on panoramic images and the superiority of the proposed method against other methods.

研究动机与目标

• 为解决由于VR/AR技术日益普及而广泛存在的全景图像中显著目标检测的挑战，尽管该领域在显著性检测方面仍研究不足。
• 开发一种稳健、高效且具有生物启发性的方法，模拟人类视觉注意机制以处理大视场角图像。
• 创建一个高质量、公开可用的全景图像数据集（SalPan），并提供精确的真值标注，以实现对显著性检测算法的公平评估。
• 展示该方法在全景图像之外的泛化能力，包括小目标检测与常规图像任务。

提出的方法

• 采用双阶段区域生长算法，基于全景图像中的空间密度模式提取初始目标提议区域。
• 集成眼动预测模型以识别视觉显著区域，受人类视觉注意机制启发。
• 通过最大值归一化融合区域生长与眼动预测生成的显著性图，得到粗略显著性图。
• 应用基于测地线距离的优化步骤，以提升边界精度并改善最终显著性图质量。
• 引入空间密度图作为高分辨率全景图像中显著性计算的新型特征表示。
• 该框架设计高效且可扩展，支持CPU与GPU执行。

实验结果

研究问题

• RQ1 自底向上的显著性检测框架能否有效应对全景图像的特殊挑战，如复杂背景与大视场角？
• RQ2 将区域生长与眼动预测相结合，对全景场景中显著性检测精度的提升程度如何？
• RQ3 所提方法在常规图像与小目标检测任务中的泛化能力达到何种程度？
• RQ4 新发布的高质量全景数据集（SalPan）能否实现显著性检测算法的公平且可靠的基准测试？

主要发现

• 所提方法在新引入的SalPan数据集上达到最先进性能，在定量与定性评估中均优于现有方法。
• 该方法表现出强鲁棒性与高效性，在相同硬件条件下，推理速度优于大多数传统与深度学习显著性方法。
• 在SalPan与常规数据集（ECSSD、DUT-OMRON、SED）上的视觉对比显示，对单个与多个显著目标的检测精度均更优。
• 该方法在小目标检测任务中成功实现泛化，于小目标检测基准数据集上取得具有竞争力的结果，表明其广泛应用潜力。
• 测地线优化步骤显著提升了边界精度，尤其在背景杂乱的复杂场景中表现突出。
• SalPan数据集与源代码的公开发布，有望加速未来全景图像显著性检测的研究。