[论文解读] Deep Blur Mapping: Exploiting High-Level Semantics by Deep Neural Networks

Kede Ma, Huan Fu+3 more|arXiv (Cornell University)|Dec 5, 2016

Advanced Image Processing Techniques参考文献 48被引用 4

一句话总结

本文提出深度模糊映射（DBM），一种端到端的全卷积神经网络（FCN），利用深层网络的高层语义特征生成精确的局部模糊图。通过利用深层特征而非低层统计特征，DBM在标准模糊检测基准上实现了最先进的ODS F分数0.853，显著优于先前方法，在区分模糊区域与平坦区域以及解决模糊情况方面表现更优。

ABSTRACT

The human visual system excels at detecting local blur of visual images, but the underlying mechanism is not well understood. Traditional views of blur such as reduction in energy at high frequencies and loss of phase coherence at localized features have fundamental limitations. For example, they cannot well discriminate flat regions from blurred ones. Here we propose that high-level semantic information is critical in successfully identifying local blur. Therefore, we resort to deep neural networks that are proficient at learning high-level features and propose the first end-to-end local blur mapping algorithm based on a fully convolutional network. By analyzing various architectures with different depths and design philosophies, we empirically show that high-level features of deeper layers play a more important role than low-level features of shallower layers in resolving challenging ambiguities for this task. We test the proposed method on a standard blur detection benchmark and demonstrate that it significantly advances the state-of-the-art (ODS F-score of 0.853). Furthermore, we explore the use of the generated blur maps in three applications, including blur region segmentation, blur degree estimation, and blur magnification.

研究动机与目标

• 解决传统模糊检测方法依赖低层特征的根本局限，这些方法难以区分平坦区域与模糊区域。
• 探究高层语义信息是否能提升模糊检测的准确性，特别是在模糊视觉上下文环境中。
• 开发一种端到端的图像到图像模糊映射系统，利用深度神经网络保留空间细节，并在多样化图像内容中实现良好泛化。
• 展示学习得到的模糊图在下游应用中的实用性，如图像分割、模糊程度估计和模糊放大。

提出的方法

• 提出基于改进VGGNet架构的全卷积网络（FCN），无全连接层，以实现端到端、空间密集的预测。
• 从不同卷积阶段裁剪16层VGGNet，以评估不同网络深度特征的贡献。
• 使用语义分割任务的预训练权重，将丰富的高层语义信息注入网络。
• 采用多尺度损失策略，优化网络以实现像素级模糊置信度预测。
• 将生成的模糊图用作掩码，应用于交互式分割（GrabCut）、模糊程度估计（平均模糊置信度）和模糊放大（对高置信度像素进行高斯卷积）。
• 探索有向无环图（DAG）架构以更好地融合低层空间特征与高层语义特征，但未观察到显著性能提升。

实验结果

研究问题

• RQ1 与传统基于低层特征的方法相比，深度神经网络的高层语义特征是否能提升局部模糊映射的准确性？
• RQ2 不同网络深度的特征（浅层与深层）在解决模糊情况（如平坦区域与模糊纹理）中的贡献如何？
• RQ3 高层语义信息在复杂场景中多大程度上增强对结构相似性掩盖的模糊检测能力？
• RQ4 学习得到的模糊图能否在下游视觉任务（如分割、模糊估计和图像增强）中有效重用？

主要发现

• 所提出的DBM在标准模糊检测基准上实现了最先进的ODS F分数0.853，显著优于先前方法。
• 实证结果表明，深层网络特征在解决模糊情况中的作用比浅层特征更为关键，验证了高层语义的重要性。
• 该方法成功区分了平坦区域（自然平滑）与模糊区域（纹理丢失），这是传统方法的关键失败案例。
• DBM生成的模糊图在图像分割中表现更优，减少了将平坦区域误分类为模糊区域的情况，且分割区域连接性更好，优于基线方法。
• 模糊图支持有效的模糊程度估计，平均置信度分数与人类对模糊强度的感知在图像序列中高度一致。
• 在模糊放大任务中，DBM生成的图像在清晰与模糊区域之间过渡自然平滑，而基线方法会产生结构失真。