[论文解读] Complementary Feature Enhanced Network with Vision Transformer for Image Dehazing

Dong Zhao, Jia Li+2 more|arXiv (Cornell University)|Sep 15, 2021

Image Enhancement Techniques被引用 10

一句话总结

本文提出一种互补特征增强框架，结合混合局部-全局视觉变换器（HyLoG-ViT），用于图像去雾，通过内在图像分解（反射率与阴影预测）学习颜色相关和纹理相关的互补特征。该方法在均匀、非均匀及夜间去雾基准测试中均达到最先进性能，优于基于CNN的模型，PSNR为29.582，SSIM为0.9617。

ABSTRACT

Conventional CNNs-based dehazing models suffer from two essential issues: the dehazing framework (limited in interpretability) and the convolution layers (content-independent and ineffective to learn long-range dependency information). In this paper, firstly, we propose a new complementary feature enhanced framework, in which the complementary features are learned by several complementary subtasks and then together serve to boost the performance of the primary task. One of the prominent advantages of the new framework is that the purposively chosen complementary tasks can focus on learning weakly dependent complementary features, avoiding repetitive and ineffective learning of the networks. We design a new dehazing network based on such a framework. Specifically, we select the intrinsic image decomposition as the complementary tasks, where the reflectance and shading prediction subtasks are used to extract the color-wise and texture-wise complementary features. To effectively aggregate these complementary features, we propose a complementary features selection module (CFSM) to select the more useful features for image dehazing. Furthermore, we introduce a new version of vision transformer block, named Hybrid Local-Global Vision Transformer (HyLoG-ViT), and incorporate it within our dehazing networks. The HyLoG-ViT block consists of the local and the global vision transformer paths used to capture local and global dependencies. As a result, the HyLoG-ViT introduces locality in the networks and captures the global and long-range dependencies. Extensive experiments on homogeneous, non-homogeneous, and nighttime dehazing tasks reveal that the proposed dehazing network can achieve comparable or even better performance than CNNs-based dehazing models.

研究动机与目标

• 解决基于CNN的去雾模型存在的局限性，包括可解释性差及对长程依赖建模无效的问题。
• 通过引入新型特征学习框架，克服卷积层的内容无关性与局部性偏差。
• 通过在统一网络中引入辅助任务显式学习互补特征，提升去雾性能。
• 设计一种混合局部-全局视觉变换器（HyLoG-ViT），以有效捕捉图像的局部与全局依赖关系。
• 在包括夜间和非均匀雾霾在内的多样化去雾场景中，验证所提框架的有效性。

提出的方法

• 提出一种互补特征增强框架，其中多个子任务（反射率与阴影预测）学习特定任务的互补特征，以支持主要去雾任务。
• 引入互补特征选择模块（CFSM），自适应地融合并选择来自反射率与阴影分支的最有用特征。
• 设计一种混合局部-全局视觉变换器（HyLoG-ViT）模块，包含并行的局部与全局ViT路径，以同时建模局部纹理与全局上下文。
• 使用3×3卷积层融合局部与全局ViT路径的特征，增强特征表示，且不依赖位置编码。
• 采用联合损失函数（包含L1、感知损失与对抗损失）进行端到端训练，以提升视觉质量与结构保真度。
• 将内在图像分解作为辅助任务，引导网络学习颜色相关（反射率）与纹理相关（阴影）特征。

实验结果

研究问题

• RQ1 通过内在图像分解等辅助任务学习互补特征，是否能相比标准CNN显著提升去雾性能？
• RQ2 互补特征选择模块（CFSM）在从不同子任务中选择并融合相关特征方面的有效性如何？
• RQ3 所提出的HyLoG-ViT模块（结合局部与全局注意力）在建模去雾任务的长程依赖关系方面，是否优于标准ViT或CNN？
• RQ4 在HyLoG-ViT架构中，位置编码与特征融合机制对最终去雾性能的影响如何？
• RQ5 所提框架是否能在多样化去雾场景中泛化，包括夜间与非均匀雾霾？

主要发现

• 所提方法在测试集上达到PSNR 29.582与SSIM 0.9617，优于现有基于CNN的去雾模型。
• 消融实验表明，若移除CFSM，PSNR下降0.671 dB，SSIM下降0.0029，证实其在特征融合中的关键作用。
• HyLoG-ViT模块表现最佳（PSNR: 29.582，SSIM: 0.9617），优于独立的CNN、ViT及串行堆叠的ViT变体。
• 用于融合局部与全局特征的3×3卷积层至关重要；若改用逐元素相加，PSNR降至28.34，SSIM降至0.955。
• 位置编码带来的增益微乎其微；模型在无位置编码时表现最佳，表明混合架构的归纳偏置已足够支持去雾任务。
• 联合学习反射率与阴影子任务可获得最佳性能，证明互补特征学习的有效性。