[论文解读] Learning to Detect Multiple Photographic Defects

Ning Yu, Xiaohui Shen+3 more|arXiv (Cornell University)|Dec 6, 2016

Visual Attention and Saliency Detection被引用 3

一句话总结

本文提出一种基于多列深度卷积神经网络（CNN）的多任务学习框架，可同时检测并评估自然图像中七种常见摄影缺陷（如曝光不良、噪点、模糊和构图问题）的严重程度。该模型在包含12,853张图像的大规模人工标注数据集上进行训练，其与人类判断的一致性高于以往基于低层次统计特征的方法，甚至在缺陷严重程度预测上超过了普通人类用户的水平。

ABSTRACT

In this paper, we introduce the problem of simultaneously detecting multiple photographic defects. We aim at detecting the existence, severity, and potential locations of common photographic defects related to color, noise, blur and composition. The automatic detection of such defects could be used to provide users with suggestions for how to improve photos without the need to laboriously try various correction methods. Defect detection could also help users select photos of higher quality while filtering out those with severe defects in photo curation and summarization. To investigate this problem, we collected a large-scale dataset of user annotations on seven common photographic defects, which allows us to evaluate algorithms by measuring their consistency with human judgments. Our new dataset enables us to formulate the problem as a multi-task learning problem and train a multi-column deep convolutional neural network (CNN) to simultaneously predict the severity of all the defects. Unlike some existing single-defect estimation methods that rely on low-level statistics and may fail in many cases on natural photographs, our model is able to understand image contents and quality at a higher level. As a result, in our experiments, we show that our model has predictions with much higher consistency with human judgments than low-level methods as well as several baseline CNN models. Our model also performs better than an average human from our user study.

研究动机与目标

• 解决自然图像中同时检测多种摄影缺陷的方法缺失问题。
• 收集一个大规模、人工标注的12,853张图像数据集，包含七种常见缺陷的严重程度评分。
• 开发一种深度学习模型，可并行预测多种缺陷类型，提升单缺陷方法的准确性。
• 通过预测缺陷严重程度和位置，支持自动化照片增强、筛选与质量过滤等应用。
• 证明在真实世界人类判断数据上训练的深度学习模型，优于传统统计方法和基线CNN。

提出的方法

• 作者收集了12,853张自然图像的数据集，其中包含七种摄影缺陷的人工标注严重程度评分：曝光不良、白平衡错误、过饱和/欠饱和、噪点、雾霾、不必要模糊和构图不良。
• 他们将问题建模为多任务学习任务，训练一个处理全局图像特征和局部图像块的多列CNN。
• 网络架构结合全局图像输入与局部图像块输入，以平衡高层次内容理解与低层次统计特征。
• 模型被训练为预测每种缺陷的连续严重程度评分，损失函数针对与人工标注的一致性进行优化。
• 为实现定位功能，将网络转换为全卷积网络（FCN），通过上采样生成空间可变的缺陷热力图。
• 使用Kendall等级相关系数（ρ）评估模型与人类判断的一致性，并在真实数据和合成数据上与基线方法进行比较。

Figure 1: An illustration of detecting multiple photographic defects. For each defect (from left to right: bad exposure , bad white balance , over/under saturation , noise , haze , undesired blur , bad composition ), we report the relative ranking of a severity score in percentage, compared to all t

实验结果

研究问题

• RQ1 在检测多种摄影缺陷时，基于人工标注数据训练的深度学习模型是否能比基于低层次统计特征的方法更一致地匹配人类判断？
• RQ2 结合全局和局部图像特征的多列CNN是否在多缺陷检测中优于单缺陷估计的基线方法？
• RQ3 所提出的模型能否泛化到合成缺陷？其在真实数据与合成数据上的性能表现如何比较？
• RQ4 在缺陷严重程度预测方面，模型的性能是否超过普通人类用户？
• RQ5 模型能否生成空间感知的缺陷图，以精确定位缺陷区域？

主要发现

• 所提出的多列CNN模型在所有七种缺陷上与人类判断的平均Kendall等级相关系数（ρ）达到0.956，显著优于基于低层次统计特征的方法和基线CNN。
• 通过与其他四位标注者的真实评分对比，模型在缺陷严重程度预测中表现优于普通人类用户。
• 在合成数据上，模型在五种缺陷类型上的平均ρ达到0.9568，表明其具有强大的泛化能力和对全局缺陷的鲁棒性。
• 模型在具有挑战性的案例中表现更优，例如在区分运动模糊与浅景深模糊方面，以往方法均未能成功。
• 全卷积网络的改进版本实现了空间可变的缺陷定位，生成的热力图能准确突出高严重程度缺陷区域，如过曝阴影或模糊的人脸。
• 本研究公开发布了包含12,853张人工标注图像的数据集，以支持未来在多缺陷检测与图像质量评估方面的研究。

Figure 3: The histogram of the ground-truth severity scores for the bad exposure defect, shown with a coarse bin size (left) and with a fine bin size (right). Each bin in the left figure corresponds to a peak in the right figure. The hiogram has 11 peaks due to the discrete levels used in user annot