[论文解读] Fast End-to-End Trainable Guided Filter

Huikai Wu, Shuai Zheng+2 more|arXiv (Cornell University)|Mar 15, 2018

Image Enhancement Techniques参考文献 56被引用 10

一句话总结

本文提出了一种可学习的、端到端可训练的引导滤波层，用于增强全卷积网络（FCNs），实现在密集像素级图像预测中的高效联合上采样。通过将引导滤波重新表述为带有可学习参数和可训练引导图的可微模块，该方法在图像润饰、去雾、深度估计和语义分割任务中均实现了最先进性能，且运行速度比先前方法快10–100倍。

ABSTRACT

Dense pixel-wise image prediction has been advanced by harnessing the capabilities of Fully Convolutional Networks (FCNs). One central issue of FCNs is the limited capacity to handle joint upsampling. To address the problem, we present a novel building block for FCNs, namely guided filtering layer, which is designed for efficiently generating a high-resolution output given the corresponding low-resolution one and a high-resolution guidance map. Such a layer contains learnable parameters, which can be integrated with FCNs and jointly optimized through end-to-end training. To further take advantage of end-to-end training, we plug in a trainable transformation function for generating the task-specific guidance map. Based on the proposed layer, we present a general framework for pixel-wise image prediction, named deep guided filtering network (DGF). The proposed network is evaluated on five image processing tasks. Experiments on MIT-Adobe FiveK Dataset demonstrate that DGF runs 10-100 times faster and achieves the state-of-the-art performance. We also show that DGF helps to improve the performance of multiple computer vision tasks.

研究动机与目标

• 解决标准FCN在高分辨率密集预测任务中联合上采样能力有限的问题。
• 开发一种完全可微、可学习的引导滤波层，可集成到FCNs中以实现端到端训练。
• 通过可训练的变换函数实现任务特定的引导图生成，以提升在多样化视觉任务中的性能。
• 在保持或提升预测质量的同时，显著降低计算成本和内存使用。
• 在多个图像处理和计算机视觉任务中展示方法的泛化能力与优越性。

提出的方法

• 使用空洞卷积和逐点卷积构建可学习核的计算图，将原始引导滤波重新表述为可微模块，支持反向传播。
• 引入一个可训练的变换函数，从低分辨率特征中生成任务特定的引导图。
• 将引导滤波层作为可微构建模块集成到FCNs中，支持与主干网络的联合优化。
• 在粗到细的流水线中应用引导滤波层：下采样输入，在低分辨率下处理，然后使用学习参数的引导滤波进行上采样。
• 采用标准训练流程，在高分辨率下使用真实标签监督，实现所有参数的端到端优化。
• 在显著性检测中应用第二层引导滤波，以进一步提升性能。

Figure 2: Computation Graph of Guided Filtering Layer. Guided filtering layer takes low-resolution image $I_{l}$ , high-resolution image $I_{h}$ and low-resolution output $O_{l}$ as inputs, generating the high-resolution output $O_{h}$ . Compared to guided filter [ 25 ] , the proposed layer is refor

实验结果

研究问题

• RQ1 引导滤波能否被重新表述为一种完全可微、可学习的层，兼容深度神经网络中的端到端训练？
• RQ2 引入可学习的引导图生成函数是否能提升在多样化像素级预测任务中的性能？
• RQ3 所提出的引导滤波层是否能在保持或提升准确率的同时，降低计算成本和内存使用？
• RQ4 与DenseCRF等现有后处理方法相比，该方法在速度和性能方面表现如何？
• RQ5 该框架在不同图像处理和计算机视觉任务中的泛化能力如何？

主要发现

• 所提出的深度引导滤波网络（DGF）在五个图像处理任务中均实现了最先进性能，包括图像润饰、非局部去雾和深度估计。
• 在MIT-Adobe FiveK数据集上，DGF的运行速度比基线方法快10–100倍，同时达到最先进结果。
• 在深度估计任务中，DGF将RMS误差从基线的6.081降低至5.887，提升0.194。
• 在显著性检测中，Fβ从基线的90.61%提升至91.75%，在分割性能上优于DenseCRF（91.87% Fβ），且速度提升10倍。
• 在语义分割任务中，DGF达到73.58%的平均IOU，较基线（71.79%）提升1.79%。
• 该方法平均处理512²图像仅需34ms，而DenseCRF需432ms，实现12.7倍的速度提升。

Figure 3: Framework Overview of Deep Guided Filtering Network. Given the input image $I_{h}$ , we first downsample it to obtain $I_{l}$ . The corresponding low-resolution output $O_{l}$ is then generated by the FCN $C_{l}(I_{l})$ . Finally, $I_{l}$ , $I_{h}$ and $O_{l}$ are fed into guided filtering