[论文解读] Densely Connected Pyramid Dehazing Network

He Zhang, Vishal M. Patel|arXiv (Cornell University)|Mar 22, 2018

Image Enhancement Techniques参考文献 48被引用 78

一句话总结

DCPDN 在端到端框架中联合估计透射图、大气光分量和去雾图像，方法是在学习中嵌入大气散射模型，使用密集连接的编码器-解码器来估计透射图，使用 U-net 来估计大气光，并引入联合 GAN 判别器以提升效果。

ABSTRACT

We propose a new end-to-end single image dehazing method, called Densely Connected Pyramid Dehazing Network (DCPDN), which can jointly learn the transmission map, atmospheric light and dehazing all together. The end-to-end learning is achieved by directly embedding the atmospheric scattering model into the network, thereby ensuring that the proposed method strictly follows the physics-driven scattering model for dehazing. Inspired by the dense network that can maximize the information flow along features from different levels, we propose a new edge-preserving densely connected encoder-decoder structure with multi-level pyramid pooling module for estimating the transmission map. This network is optimized using a newly introduced edge-preserving loss function. To further incorporate the mutual structural information between the estimated transmission map and the dehazed result, we propose a joint-discriminator based on generative adversarial network framework to decide whether the corresponding dehazed image and the estimated transmission map are real or fake. An ablation study is conducted to demonstrate the effectiveness of each module evaluated at both estimated transmission map and dehazed result. Extensive experiments demonstrate that the proposed method achieves significant improvements over the state-of-the-art methods. Code will be made available at: https://github.com/hezhangsprinter

研究动机与目标

• 在复杂大气散射下，通过联合估计透射、大气光和去雾图像，来推动鲁棒的单幅图像去雾研究。
• 引入一个端到端的架构，将物理雾霾成像模型嵌入学习中，以获得物理一致的结果。
• 开发一个密集连接的编码器-解码器透射图估计器，具备多级金字塔池化。
• 引入边缘保持损失，以保持清晰边缘并减少晕影伪影。
• 利用联合 GAN 判别器，利用透射图与去雾图像之间的结构相关性来提升效果。

提出的方法

• 提出一个金字塔形密集连接的透射图估计网络，用于提取用于透射估计的多尺度特征。
• 用一个8块的 U-net 结构来估计大气光。
• 利用物理模型 J = (I - Â(1 - t))/t，重建去雾图像。
• 引入一个联合判别器，对透射图与去雾图像这对组合进行评估，以强制真实感。
• 采用由 L2、双向梯度损失以及基于早期 CNN/VGG 特征的特征-边缘损失组成的边缘保持损失。
• 采用分阶段的学习策略进行训练，在联合端到端训练之前稳定优化。

实验结果

研究问题

• RQ1 在严格遵循雾霾成像模型的前提下，单一架构是否能够联合学习透射、大气光和去雾？
• RQ2 密集连接的金字塔编码-解码器是否能够提升透射图的准确性和边缘保持？
• RQ3 利用透射图与去雾图像之间相关性的联合判别器是否能提升结果？
• RQ4 边缘保持损失是否有助于在透射图中保持清晰边缘并减少晕影伪影？

主要发现

测试	方法	透射图 SSIM	图像 SSIM
TestA	He et al. (CVPR’09)	N/A	0.7041
TestA	Zhu et al. (TIP’15)	0.8739	0.8642
TestA	Ren et al. (ECCV’16)	0.8326	0.8567
TestA	Berman et al. (CVPR’16)	N/A	0.8203
TestA	Li et al. (ICCV’17)	0.8675	0.8842
TestA	DCPDN	0.9776	0.9560
TestB	He et al. (CVPR’09)	N/A	0.6593
TestB	Zhu et al. (TIP’15)	0.8593	0.7890
TestB	Ren et al. (ECCV’16)	0.8454	0.8253
TestB	Berman et al. (CVPR’16)	N/A	0.7724
TestB	Li et al. (ICCV’17)	0.9352	0.8746
TestB	DCPDN	0.9352	0.8746

• 所提出的 DCPDN 在合成数据集 TestA 和 TestB 以及真实世界图像上显著优于最先进方法。
• 带有多级金字塔池化的密集连接编码器-解码器在透射图估计方面具有更优性能。
• 边缘保持损失在估计的透射图中保持了清晰边缘并减少了晕影伪影。
• 联合判别器通过利用结构相关性进一步优化透射图和去雾图像。
• 阶段性训练在完全的端到端训练前使优化过程更稳定。
• 定量结果显示合成数据集上透射和去雾图像的高 SSIM 增益（例如 TestA 上透射值高达 0.9776，图像值高达 0.9560）。