[论文解读] How hard can it be? Estimating the difficulty of visual search in an image

Radu Tudor Ionescu, Bogdan Alexe+4 more|arXiv (Cornell University)|May 23, 2017

Multimodal Machine Learning Applications参考文献 40被引用 6

一句话总结

本文提出一种基于深度学习的方法，通过估计人类在目标检测任务中的反应时间来预测图像中视觉搜索的难度。基于PASCAL VOC 2012数据集的众包标注，利用卷积神经网络（CNN）的深度特征训练回归模型，在图像对难度排序任务中达到75%的准确率，并使弱监督目标定位性能提升8%，半监督分类性能提升1%。

ABSTRACT

We address the problem of estimating image difficulty defined as the human response time for solving a visual search task. We collect human annotations of image difficulty for the PASCAL VOC 2012 data set through a crowd-sourcing platform. We then analyze what human interpretable image properties can have an impact on visual search difficulty, and how accurate are those properties for predicting difficulty. Next, we build a regression model based on deep features learned with state of the art convolutional neural networks and show better results for predicting the ground-truth visual search difficulty scores produced by human annotators. Our model is able to correctly rank about 75% image pairs according to their difficulty score. We also show that our difficulty predictor generalizes well to new classes not seen during training. Finally, we demonstrate that our predicted difficulty scores are useful for weakly supervised object localization (8% improvement) and semi-supervised object classification (1% improvement).

研究动机与目标

• 量化图像中目标检测任务的视觉搜索难度，以人类反应时间为指标。
• 识别与视觉搜索难度相关的人类可解释的图像属性。
• 开发一种基于CNN特征的深度学习模型，以预测难度并实现对未见类别的一般化。
• 评估预测难度分数在提升弱监督和半监督目标识别性能方面的实用性。
• 发布人类标注的难度分数数据集，并提供公开的难度预测工具。

提出的方法

• 通过众包平台收集了来自PASCAL VOC 2012数据集中10,000多张图像的人类反应时间标注。
• 将反应时间转换为难度分数，并分析其与低级和高级图像属性的相关性。
• 使用最先进卷积神经网络（CNN）的深度特征，训练回归模型以预测难度。
• 通过图像对的排序准确率评估模型性能，衡量模型正确排序难度的频率。
• 应用预测的难度分数，通过主动学习启发式方法改进弱监督目标定位（WSOL）和半监督目标分类。
• 采用类课程学习的策略，根据预测难度选择图像，以指导模型训练。

实验结果

研究问题

• RQ1 哪些图像属性——低级或高级——与人类视觉搜索难度的相关性最强？
• RQ2 预训练CNN的深度特征能否有效预测人类估计的视觉搜索难度？
• RQ3 所提出的难度预测器在未在训练中见过的新物体类别上泛化能力如何？
• RQ4 预测的难度分数能否提升弱监督目标定位的性能？
• RQ5 基于难度的采样能否提升半监督目标分类的准确率？

主要发现

• 模型在根据视觉搜索难度正确排序图像对方面达到了75%的准确率。
• CNN的深度特征在预测难度方面优于低级图像属性，表明其与高层认知存在关联。
• 难度预测器在新类别上泛化良好，体现在PASCAL VOC 2007上表现强劲，且无重叠图像。
• 在弱监督目标定位中，整合预测难度分数使CorLoc性能提升了8%。
• 在半监督目标分类中，利用预测难度指导样本选择使mAP提升了1%。
• 最佳半监督学习策略结合了最不确定样本与预测难度，达到88.1%的mAP，优于随机选择和仅基于置信度的选择。