[论文解读] A Two-branch Neural Network for Non-homogeneous Dehazing via Ensemble Learning

Yankun Yu, Liu Huan+4 more|arXiv (Cornell University)|Apr 18, 2021

Image Enhancement Techniques参考文献 41被引用 5

一句话总结

该论文提出了一种双分支神经网络，结合迁移学习与数据特定特征学习，用于在训练数据有限的情况下进行非均匀图像去雾。通过可学习融合头将ImageNet预训练的Res2Net分支与随机初始化的RCAN分支的特征进行融合，该方法在小规模真实世界去雾基准（包括NTIRE2021）上实现了最先进性能，PSNR为21.0183，SSIM为0.8370。

ABSTRACT

Recently, there has been rapid and significant progress on image dehazing. Many deep learning based methods have shown their superb performance in handling homogeneous dehazing problems. However, we observe that even if a carefully designed convolutional neural network (CNN) can perform well on large-scaled dehazing benchmarks, the network usually fails on the non-homogeneous dehazing datasets introduced by NTIRE challenges. The reasons are mainly in two folds. Firstly, due to its non-homogeneous nature, the non-uniformly distributed haze is harder to be removed than the homogeneous haze. Secondly, the research challenge only provides limited data (there are only 25 training pairs in NH-Haze 2021 dataset). Thus, learning the mapping from the domain of hazy images to that of clear ones based on very limited data is extremely hard. To this end, we propose a simple but effective approach for non-homogeneous dehazing via ensemble learning. To be specific, we introduce a two-branch neural network to separately deal with the aforementioned problems and then map their distinct features by a learnable fusion tail. We show extensive experimental results to illustrate the effectiveness of our proposed method.

研究动机与目标

• 解决雾霾分布不均、难以用传统大气散射模型建模的非均匀去雾挑战。
• 克服真实世界去雾数据集（如NH-Haze 2021，仅含25对训练样本）中因训练数据有限导致的过拟合问题。
• 提升在复杂真实场景中的去雾性能，这些场景中现有基于CNN的方法因泛化能力差和色彩失真而失效。
• 证明结合预训练特征（迁移学习）与数据特定特征学习可增强模型鲁棒性与感知质量。

提出的方法

• 该方法采用双分支神经网络：一个分支使用在ImageNet上预训练的Res2Net模型，以缓解过拟合并提供强初始特征。
• 第二个分支是从零开始训练的残差通道注意力网络（RCAN），用于从有限的去雾数据集中学习数据特定表征。
• 将两个分支的特征拼接后，通过一个可学习融合头映射到最终的去雾输出图像。
• 网络通过感知损失与重建损失的组合进行端到端训练，以保留色彩保真度与结构细节。
• 对NTIRE2020数据集应用伽马校正（0.65）以减少在作为NTIRE2021额外训练数据时的域偏移。
• 使用标准深度学习训练协议进行模型优化，包括Adam优化器与学习率调度。

实验结果

研究问题

• RQ1 结合迁移学习与数据特定特征学习的双分支神经网络架构，是否能在训练数据有限的情况下，优于现有非均匀去雾方法？
• RQ2 ImageNet预训练在小规模真实世界去雾数据集上，是否能有效减少过拟合并提升泛化能力？
• RQ3 对不同特征表征（预训练与数据特定）进行集成学习，在去雾图像中能在多大程度上提升感知质量与结构保真度？
• RQ4 在真实世界与合成基准上，该方法在PSNR、SSIM与视觉质量方面与最先进方法相比表现如何？

主要发现

• 在NTIRE2021测试集上，该方法实现了21.0183的PSNR与0.8370的SSIM，优于所有基线方法，包括FFA、TDN与GCA-Net。
• 在RESIDE(ITS)数据集上，该方法在所有对比方法中取得了最高的PSNR与SSIM，表明其在合成与真实世界数据上均具有强大泛化能力。
• 视觉结果表明，该方法在保留色彩保真度与物体细节方面优于其他方法，尤其在复杂真实场景中对蓝色门的还原最为准确。
• 尽管参数量更大（50M），该方法推理速度更快（每张图像0.089秒），优于TDN（0.112秒）与FFA（0.561秒），归因于特征提取路径中高效的下采样设计。
• 消融实验表明，ImageNet预训练显著提升了小数据集上的性能，表现为带预训练的TDN模型优于相同结构但无预训练的版本。
• 预训练特征与数据特定特征的融合带来了更鲁棒且更符合感知质量的结果，尤其在复杂雾霾模式与色彩失真区域表现更优。