[论文解读] From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data

Ye Liu, Lei Zhu+6 more|arXiv (Cornell University)|Aug 6, 2021

Image Enhancement Techniques参考文献 43被引用 5

一句话总结

该论文提出了一种解耦一致性均值教师网络（DMT-Net），通过联合利用合成的有标签数据和无标签的真实世界雾霾图像，提升了单图像去雾性能。该方法引入了一个解耦图像去雾网络（DID-Net），分别预测透射率图、无雾图像和大气光估计值，随后在无标签的真实数据上应用一致性正则化以减少域偏移，从而在Haze4K、SOTS和HazeRD数据集上实现了最先进性能。

ABSTRACT

Single image dehazing is a challenging task, for which the domain shift between synthetic training data and real-world testing images usually leads to degradation of existing methods. To address this issue, we propose a novel image dehazing framework collaborating with unlabeled real data. First, we develop a disentangled image dehazing network (DID-Net), which disentangles the feature representations into three component maps, i.e. the latent haze-free image, the transmission map, and the global atmospheric light estimate, respecting the physical model of a haze process. Our DID-Net predicts the three component maps by progressively integrating features across scales, and refines each map by passing an independent refinement network. Then a disentangled-consistency mean-teacher network (DMT-Net) is employed to collaborate unlabeled real data for boosting single image dehazing. Specifically, we encourage the coarse predictions and refinements of each disentangled component to be consistent between the student and teacher networks by using a consistency loss on unlabeled real data. We make comparison with 13 state-of-the-art dehazing methods on a new collected dataset (Haze4K) and two widely-used dehazing datasets (i.e., SOTS and HazeRD), as well as on real-world hazy images. Experimental results demonstrate that our method has obvious quantitative and qualitative improvements over the existing methods.

研究动机与目标

• 解决单图像去雾中合成训练数据与真实世界雾霾图像之间的域偏移问题。
• 通过将CNN特征解耦为物理上有意义的组成部分（无雾图像、透射率图、大气光）来提升去雾性能。
• 通过均值教师框架利用无标签的真实世界雾霾图像以增强泛化能力。
• 开发一种从粗到精的解耦特征学习架构，以保持物理一致性。

提出的方法

• 提出一种解耦图像去雾网络（DID-Net），在每个尺度上将特征分为三个分支：透射率蒸馏特征、潜在蒸馏特征和光强蒸馏特征。
• 采用渐进式的多尺度特征融合，以预测透射率图、无雾图像和大气光估计值。
• 为每个组件分别使用独立的优化网络，以细化粗略预测结果。
• 将DID-Net集成到均值教师框架中，通过在无标签真实数据上施加一致性损失，使学生和教师的预测保持一致。
• 在有标签的合成数据上应用解耦监督损失，在无标签的真实数据上应用解耦一致性损失，以提升模型鲁棒性。
• 使用加权损失组合（包含超参数α1–α6）来平衡监督信号与一致性正则化。

实验结果

研究问题

• RQ1 解耦特征学习是否能提升单图像去雾模型在合成数据与真实世界数据之间的泛化能力？
• RQ2 在无标签真实雾霾图像上应用一致性正则化，在减少去雾任务中域偏移方面的效果如何？
• RQ3 联合预测具有物理可解释性的组件（透射率图、大气光、无雾图像）是否比端到端预测带来更好的去雾性能？
• RQ4 各组件（解耦、优化、无标签数据）对最终性能的贡献分别是什么？

主要发现

• 在Haze4K数据集上，DMT-Net实现了28.53的PSNR和0.96的SSIM，优于全部13种最先进方法。
• 消融实验表明，引入特征解耦可使PSNR提升0.16–0.30 dB，而进一步引入优化模块可进一步提升性能。
• 通过一致性损失利用无标签真实数据，相比仅使用有标签数据进行优化的基线模型，PSNR提升达0.46 dB。
• 视觉对比结果表明，DMT-Net在建筑物和天空区域等场景中，相比基线模型能更好地保留纹理和色彩保真度。
• 教师网络性能（PSNR 28.34，SSIM 0.96）与学生网络几乎完全一致，验证了均值教师训练的稳定性。
• 超参数消融实验表明，设置α1=0.7，α2=0.1，α3=0.7可获得最优性能，其他设置下性能下降可忽略。