[论文解读] Gated Context Aggregation Network for Image Dehazing and Deraining

Dongdong Chen, Mingming He+6 more|arXiv (Cornell University)|Nov 21, 2018

Image Enhancement Techniques参考文献 38被引用 36

一句话总结

本文提出GCANet，一种用于图像去雾和去雨的端到端门控上下文聚合网络，采用平滑空洞卷积以减少网格化伪影，并引入门控融合模块以自适应地结合多层级特征。该方法在去雾和去雨基准测试中均达到最先进性能，在定量指标和视觉质量方面显著优于先前方法。

ABSTRACT

Image dehazing aims to recover the uncorrupted content from a hazy image. Instead of leveraging traditional low-level or handcrafted image priors as the restoration constraints, e.g., dark channels and increased contrast, we propose an end-to-end gated context aggregation network to directly restore the final haze-free image. In this network, we adopt the latest smoothed dilation technique to help remove the gridding artifacts caused by the widely-used dilated convolution with negligible extra parameters, and leverage a gated sub-network to fuse the features from different levels. Extensive experiments demonstrate that our method can surpass previous state-of-the-art methods by a large margin both quantitatively and qualitatively. In addition, to demonstrate the generality of the proposed method, we further apply it to the image deraining task, which also achieves the state-of-the-art performance. Code has been made available at https://github.com/cddlyf/GCANet.

研究动机与目标

• 解决依赖于暗通道或对比度最大化等手工先验的传统去雾方法的局限性，这些先验在真实场景中可能不成立。
• 开发一种端到端深度学习框架，直接回归无雾图像，无需显式估计透射率图或大气光。
• 通过最小参数开销的平滑空洞扩张技术，减轻上下文聚合网络中空洞卷积带来的网格化伪影。
• 通过门控子网络学习多层级特征间的自适应融合权重，提升特征表示能力。
• 通过成功应用于图像去雨任务，证明所提出架构的通用性。

提出的方法

• 网络采用新颖的平滑空洞模块替代标准空洞卷积，通过确保空洞感受野中更平滑的特征传播，减少网格化伪影。
• 引入门控子网络，学习来自不同编码器阶段特征的动态融合权重，使模型能够聚焦于最相关的上下文信息。
• 架构基于带空洞卷积的残差块，其中应用平滑空洞操作以保持空间一致性并减少视觉伪影。
• 使用实例归一化替代批量归一化，以提升特征稳定性和性能，尤其在低光照或复杂场景下表现更优。
• 网络采用感知损失与重建损失联合训练，实现端到端优化，无需中间监督或物理模型约束。
• 相同架构通过在合成雨天图像数据集上微调，成功应用于图像去雨任务，证明其泛化能力。

实验结果

研究问题

• RQ1 基于深度学习的端到端网络是否能在图像去雾任务中超越依赖手工先验（如暗通道或对比度最大化）的传统方法？
• RQ2 与标准指数增长的空洞卷积相比，使用平滑空洞卷积是否能显著减少网格化伪影？
• RQ3 可学习的门控融合机制是否能改善图像恢复任务中多尺度特征的聚合效果？
• RQ4 所提出的GCANet架构是否能良好泛化至去雾以外的其他图像恢复任务，如去雨？
• RQ5 各架构组件（平滑空洞、门控融合、归一化）对整体性能提升的相对贡献如何？

主要发现

• 在RESIDE去雾基准上，GCANet的PSNR达到30.23，显著优于先前最先进方法。
• 消融研究显示，所有组件（包括平滑空洞、门控融合和实例归一化）的组合带来最大性能提升，相比基线配置提升达2.66 dB。
• 平滑空洞残差块能有效减少物体边界和纹理附近区域的网格化伪影与颜色偏移，如图5所示的视觉验证。
• 在图像去雨任务中，GCANet的PSNR比先前最先进方法（DID-MDN）高出超过3 dB，展现出强大的泛化能力。
• 门控融合机制能更好地保留细节并保持自然色彩保真度，在亮度一致性和去雾效果方面优于AOD-Net和GFN等方法。
• 实例归一化带来的性能增益大于批量归一化，表明其在不同输入条件下具有更优的特征稳定性。