[论文解读] Image Dehazing using Bilinear Composition Loss Function

Hui Yang, Jinshan Pan+4 more|arXiv (Cornell University)|Oct 1, 2017

Image Enhancement Techniques参考文献 14被引用 13

一句话总结

本文提出了一种用于单图像去雾的双线性组合损失函数，采用深度卷积神经网络联合优化透射图、大气光和清晰图像估计，以减少噪声和伪影。该方法在噪声和压缩严重的雾霾图像上优于最先进方法，通过建模各组件间的相互依赖关系并实现组合误差的并行反向传播。

ABSTRACT

In this paper, we introduce a bilinear composition loss function to address the problem of image dehazing. Previous methods in image dehazing use a two-stage approach which first estimate the transmission map followed by clear image estimation. The drawback of a two-stage method is that it tends to boost local image artifacts such as noise, aliasing and blocking. This is especially the case for heavy haze images captured with a low quality device. Our method is based on convolutional neural networks. Unique in our method is the bilinear composition loss function which directly model the correlations between transmission map, clear image, and atmospheric light. This allows errors to be back-propagated to each sub-network concurrently, while maintaining the composition constraint to avoid overfitting of each sub-network. We evaluate the effectiveness of our proposed method using both synthetic and real world examples. Extensive experiments show that our method outperfoms state-of-the-art methods especially for haze images with severe noise level and compressions.

研究动机与目标

• 解决两阶段去雾方法在低质量、重度雾霾图像中放大噪声和伪影的局限性。
• 通过将图像噪声和压缩效应纳入去雾公式，更准确地建模物理图像形成过程。
• 提升在严重噪声和压缩伪影的现实雾霾图像上的去雾性能。
• 开发一种统一的深度学习框架，联合优化透射图、大气光和去雾图像估计。

提出的方法

• 提出一种改进的图像形成模型，通过使大气光空间可变来考虑噪声影响：I(x) = J(x)T(x) + A'(x)(1 - T(x))，其中A'(x)吸收噪声效应。
• 提出一种双线性组合损失函数，在训练过程中强制执行物理组合约束J(x)T(x) + A'(x)(1 - T(x)) = I(x)。
• 使用双线性网络同时估计透射图T(x)和大气光A'(x)，实现误差向两个子网络的反向传播。
• 对透射图输出应用引导滤波以强制实现分段平滑，同时将组合误差也通过滤波器反向传播。
• 在双线性网络后使用独立的图像增强网络，进一步抑制残余噪声并提升视觉质量。
• 使用NYU2数据集的真实深度图生成更具真实感的合成雾霾训练数据，避免对人工先验的过拟合。

实验结果

研究问题

• RQ1 与两阶段方法相比，使用双线性组合损失的联合优化框架是否能提升在噪声和压缩雾霾图像上的去雾性能？
• RQ2 将大气光建模为空间可变（A'(x)）而非恒定（A）对去雾结果在图像噪声下的鲁棒性有何影响？
• RQ3 结合误差反向传播的引导滤波在多大程度上提升了透射图质量并减少了伪影？
• RQ4 将A学习为三通道向量是否提升了模型捕捉图像特定伪影的能力并防止过度去雾？
• RQ5 使用NYU2的真实深度图而非合成深度图进行数据合成，对去雾结果的泛化能力和视觉质量有何影响？

主要发现

• 所提方法在合成和真实雾霾图像上均优于最先进方法，尤其在高噪声和压缩场景下表现更优。
• 双线性组合损失有效实现了向透射图和大气光网络的误差反向传播，减少了过拟合并提升了泛化能力。
• 引导滤波显著减少了伪影，当与滤波器中的误差反向传播结合时，可生成更清晰的透射图。
• 该方法成功将噪声分离至大气光分量中，在单一框架内实现了隐式去雾与去噪。
• 使用NYU2的真实深度图进行数据合成，相比具有不切实际深度假设的合成数据集，能生成更自然的去雾图像，尤其在天空区域表现更优。
• 增强网络有效抑制了残余噪声，提升了最终图像质量，且未引入新伪影。