[论文解读] Fusing Saliency Maps with Region Proposals for Unsupervised Object Localization

Hakan Karaoğuz, Patric Jensfelt|arXiv (Cornell University)|Apr 11, 2018

Visual Attention and Saliency Detection参考文献 18被引用 3

一句话总结

本文提出一种完全无监督的物体定位方法，通过融合基于深度学习的显著性图与类别无关的区域提议，实现在单张图像中无需任何类别或实例级监督的物体定位。该方法仅使用单帧图像，在基准数据集上达到最先进性能，并通过新创建的、具有挑战性的数据集（包含光照和视角变化）展示了在真实环境下的鲁棒性。

ABSTRACT

In this paper we address the problem of unsupervised localization of objects in single images. Compared to previous state-of-the-art method our method is fully unsupervised in the sense that there is no prior instance level or category level information about the image. Furthermore, we treat each image individually and do not rely on any neighboring image similarity. We employ deep-learning based generation of saliency maps and region proposals to tackle this problem. First salient regions in the image are determined using an encoder/decoder architecture. The resulting saliency map is matched with region proposals from a class agnostic region proposal network to roughly localize the candidate object regions. These regions are further refined based on the overlap and similarity ratios. Our experimental evaluations on a benchmark dataset show that the method gets close to current state-of-the-art methods in terms of localization accuracy even though these make use of multiple frames. Furthermore, we created a more challenging and realistic dataset with multiple object categories and varying viewpoint and illumination conditions for evaluating the method's performance in real world scenarios.

研究动机与目标

• 解决真实世界机器人场景中标签数据稀缺且环境条件多变的无监督物体定位挑战。
• 开发一种无需依赖邻近图像相似性或先验类别信息的单张图像物体定位方法。
• 构建一个真实、多样化的数据集，涵盖多种物体类别，在不同光照和视角条件下进行评估，以更好地衡量真实世界性能。
• 通过结合语义显著性图与区域提议，提升无监督定位的鲁棒性，避免依赖有监督预训练。

提出的方法

• 使用为语义分割训练的编码器/解码器架构生成像素级显著性图，以识别图像中的显著区域。
• 使用类别无关的区域提议网络（RPN）生成区域提议，以在无类别监督的情况下识别候选物体区域。
• 通过匹配重叠度高且相似度高的区域，融合显著性图与区域提议，以优化候选物体位置。
• 应用非极大值抑制（NMS），置信度阈值为0.05，以消除冗余提议并提高定位精度。
• 通过显著性区域与提议之间的重叠率和相似度比率，进一步优化物体候选区域，以提升定位准确性。
• 设定显著性区域最小面积为300像素²，以过滤噪声和微小无关区域。

实验结果

研究问题

• RQ1 完全无监督的方法能否在无需任何类别或实例级标注的情况下，实现单张图像中的物体定位？
• RQ2 显著性图与区域提议的融合相比单独使用任一组件，如何提升定位准确性？
• RQ3 该方法在光照和视角变化等真实世界条件下具备多大程度的泛化能力？
• RQ4 在多物体场景中，尤其是当物体较小或显著性较弱时，该方法表现如何？
• RQ5 与使用多帧图像或弱监督的最先进方法相比，该方法能否实现具有竞争力的性能？

主要发现

• 尽管仅使用单帧图像且不依赖邻近图像相似性，该方法在PASCAL VOC 2012基准数据集上的定位精度与最先进方法相当。
• 在KTH Handtool数据集中，夹钳类别在人工光源下（Camera 1）达到最高定位精度（63.7% CorLoc），可能因其表面具有纹理特征。
• 在自然光源条件下，Camera 2的定位性能下降（锤子为14.3%），表明对低照度和远距离条件较为敏感。
• 定向光源提升了Camera 2下螺丝刀的定位性能（31.0% CorLoc），表明光照方向对性能的影响取决于物体表面特性。
• 该方法在多个小物体场景中表现不佳，如表II底部行所示，由于融合偏差导致稀疏显著区域被合并为单一大区域。
• 高分辨率的Camera 1在所有类别上均优于Camera 2，平均CorLoc得分高出10–20个百分点，凸显图像质量和视角对性能的显著影响。