[论文解读] Learning Aggregated Transmission Propagation Networks for Haze Removal and Beyond

Risheng Liu, Xin Fan+4 more|arXiv (Cornell University)|Nov 18, 2017

Image Enhancement Techniques被引用 5

一句话总结

本文提出了一种新型深度残差架构——深度传播聚合传输网络（DPATN），通过将物理先验与数据驱动学习统一，实现单图像去雾。通过采用变分能量框架对传输传播进行建模，DPATN在去雾、水下增强和去雨任务中均实现了最先进性能，具备轻量级训练方案与全局收敛性保证。

ABSTRACT

Single image dehazing is an important low-level vision task with many applications. Early researches have investigated different kinds of visual priors to address this problem. However, they may fail when their assumptions are not valid on specific images. Recent deep networks also achieve relatively good performance in this task. But unfortunately, due to the disappreciation of rich physical rules in hazes, large amounts of data are required for their training. More importantly, they may still fail when there exist completely different haze distributions in testing images. By considering the collaborations of these two perspectives, this paper designs a novel residual architecture to aggregate both prior (i.e., domain knowledge) and data (i.e., haze distribution) information to propagate transmissions for scene radiance estimation. We further present a variational energy based perspective to investigate the intrinsic propagation behavior of our aggregated deep model. In this way, we actually bridge the gap between prior driven models and data driven networks and leverage advantages but avoid limitations of previous dehazing approaches. A lightweight learning framework is proposed to train our propagation network. Finally, by introducing a taskaware image separation formulation with a flexible optimization scheme, we extend the proposed model for more challenging vision tasks, such as underwater image enhancement and single image rain removal. Experiments on both synthetic and realworld images demonstrate the effectiveness and efficiency of the proposed framework.

研究动机与目标

• 解决基于先验的方法在假设（如暗通道、雾霾线）不成立时于某些图像上失效的局限性。
• 通过将物理定律整合到网络结构中，克服纯数据驱动深度网络对数据量敏感且分布敏感的缺陷。
• 构建一个统一的深度学习框架，使其不仅适用于去雾，还能泛化至其他低层次视觉任务，如水下图像增强和去雨。
• 通过基于变分能量框架的传输传播建模，确保模型鲁棒性与收敛性。
• 设计轻量级训练框架与任务感知图像分离模块，以提升在复杂真实退化场景下的性能。

提出的方法

• 提出一种深度残差网络，聚合物理先验（如大气散射模型）与学习到的数据分布，用于传输图估计。
• 采用变分能量框架对传输传播进行建模，统一基于先验与数据驱动的方法，确保物理一致性与稳定性。
• 提出一种轻量级训练框架，以极低的参数开销高效优化深度传播网络。
• 设计一种任务感知的图像分离公式，将观测图像分解为传输与反射分量，实现对多种退化类型的自适应。
• 对图像分离模块应用灵活的优化方案，支持多个任务（去雾、水下增强、去雨）的联合学习。
• 在变分能量框架下证明传输传播过程的全局收敛性，确保推理过程的稳定性。

实验结果

研究问题

• RQ1 深度学习模型能否有效整合物理先验与数据驱动特征，以提升单图像去雾的鲁棒性？
• RQ2 如何建模传输传播过程，使其在保持物理合理性的同时支持端到端学习？
• RQ3 在去雾任务上训练的统一深度架构，能否有效泛化至其他低层次视觉任务（如水下图像增强与去雨）？
• RQ4 任务感知图像分离对复杂退化场景下的性能与色彩平衡有何影响？
• RQ5 所提出的变分能量框架是否能确保传输传播过程中的收敛性与稳定性？

主要发现

• DPATN在合成与真实世界去雾基准上均实现了最先进性能，视觉质量与定量指标均优于先前方法。
• 引入任务感知图像分离显著提升了边缘保持能力与色彩平衡，减少了物体边界处的雾霾伪影。
• 在水下图像增强任务中，DPATN在有效去除蓝绿色调并保留精细细节方面，优于Rahman等人、Chiang等人与Li等人。
• 在单图像去雨任务中，结合任务感知分离的DPATN在去除雨痕与残留雾霾方面优于SR、DSC与LP，表现更优。
• 所提框架验证了传输传播过程的全局收敛性，证实了变分能量框架的稳定性。
• 实验表明，轻量级训练框架可在不损失性能的前提下实现高效优化，使模型在真实世界部署中更具实用性。