[论文解读] DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention

Zixuan Chen, Zewei He+1 more|arXiv (Cornell University)|Jan 12, 2023

Image Enhancement Techniques被引用 21

一句话总结

DEA-Net 在 U-Net 风格架构中引入 detail-enhanced convolution (DEConv) 和 content-guided attention (CGA)，以提升单图去雾，在较少参数下达到最先进的 PSNR/SSIM，并具备可重参数化的 DEConv 以提高效率。

ABSTRACT

Single image dehazing is a challenging ill-posed problem which estimates latent haze-free images from observed hazy images. Some existing deep learning based methods are devoted to improving the model performance via increasing the depth or width of convolution. The learning ability of convolutional neural network (CNN) structure is still under-explored. In this paper, a detail-enhanced attention block (DEAB) consisting of the detail-enhanced convolution (DEConv) and the content-guided attention (CGA) is proposed to boost the feature learning for improving the dehazing performance. Specifically, the DEConv integrates prior information into normal convolution layer to enhance the representation and generalization capacity. Then by using the re-parameterization technique, DEConv is equivalently converted into a vanilla convolution with NO extra parameters and computational cost. By assigning unique spatial importance map (SIM) to every channel, CGA can attend more useful information encoded in features. In addition, a CGA-based mixup fusion scheme is presented to effectively fuse the features and aid the gradient flow. By combining above mentioned components, we propose our detail-enhanced attention network (DEA-Net) for recovering high-quality haze-free images. Extensive experimental results demonstrate the effectiveness of our DEA-Net, outperforming the state-of-the-art (SOTA) methods by boosting the PSNR index over 41 dB with only 3.653 M parameters. The source code of our DEA-Net will be made available at https://github.com/cecret3350/DEA-Net.

研究动机与目标

• 动机与解决去雾中普通卷积的局限性，将先验嵌入到 CNN 中。
• 设计一个 detail-enhanced convolution (DEConv)，将普通卷积与差分卷积融合，以提升边缘/梯度信息。
• 引入 content-guided attention (CGA)，以粗到细的方式生成通道特定的空间重要性映射。
• 提出基于 CGA 的 mixup 融合，以在感受野上更好地融合编码器与解码器特征。
• 在高效参数使用及推理时的可重参数化条件下，展示出强劲的去雾性能。

提出的方法

• 提出 DEConv，一组并行卷积（vanilla + 四种差分卷积：CDC、ADC、HDC、VDC），其权重可通过重参数化合并为单一等效卷积核，以避免运行时开销。
• 引入 CGA 以在粗到细的方式生成通道特定的空间重要性映射，由输入特征引导（使用 CGA 来融合通道和空间注意力）。
• 应用基于 CGA 的 mixup 融合， 自适应地融合低层编码器特征与高层解码器特征，缓解感受野不匹配。
• 采用三层级的编码器–解码器（类似 U-Net）的 DEA-Net，一级至二级使用 DEB 块，三级使用 DEAB 块，使用 L1 损失进行训练。
• 在 RESIDE（ITS/OTS 训练；SOTS 测试）和 Haze4K 上进行训练与评估，并包含真实雾霾图像。

实验结果

研究问题

• RQ1 通过差分卷积嵌入先验是否能在去雾性能上优于普通卷积？
• RQ2 通道特定的、内容引导的空间注意力（CGA）是否比传统注意力更好地捕捉特征图中非均匀的雾分布？
• RQ3 基于 CGA 的 mixup 融合是否能改善类似 U-Net 的去雾网络中的编码器–解码器特征融合与梯度流？
• RQ4 在参数规模紧凑的前提下，所提出的 DEA-Net 在 PSNR/SSIM 上与最先进的去雾方法相比如何？

主要发现

Model	Setting	PSNR (dB)	SSIM	# Param. (K)
Base_RB	Level 1	30.74	0.9729	2105
Base_FAB	Level 2	33.07	0.9824	2143
Model_RB_D	Level 3	31.01	0.9739	4467
Model_FAB_D	Level 3	33.67	0.9840	4505
Model_DEAB	Level 3	35.17	0.9866	4569
Model_FAB_D_CBAM	Level 3	34.68	0.9857	4493

• DEA-Net 在标准基准上实现优于 SOTA 方法的 PSNR/SSIM，同时使用约 3.65 百万参数。
• DEConv 相较基线在 PSNR 上提升约 0.27–0.6 dB，重参数化在推理成本上保持与 vanilla conv 相同。
• CGA 提供通道特定的空间重要性映射并改善特征学习，提升 SSIM（如在消融实验中从 0.9729 提升到 0.9866）。
• 基于 CGA 的 mixup 融合通过自适应加权低层与高层特征，减少编码器–解码器融合过程中的信息损失。
• 带有 DEConv 和 CGA 的模型变体显示出逐步提升，其中 DEAB 配置在 Ablation 中取得最佳结果。
• 本文报道 DEA-Net 在 SOTS-indoor 及相关数据集上达到最先进的结果，且推理效率强劲。