[论文解读] Half Wavelet Attention on M-Net+ for Low-Light Image Enhancement

Chi-Mao Fan, Tsung-Jung Liu+1 more|arXiv (Cornell University)|Mar 2, 2022

Image Enhancement Techniques被引用 6

一句话总结

该论文提出HWMNet，一种基于改进的分层架构M-Net+的新型低光照图像增强网络，通过引入半波尔特注意力模块（HWAB）从小波域捕获互补特征。该方法在LOL和MIT-Adobe FiveK数据集上实现了最先进性能，且参数量低于领先模型，展现出准确率与效率之间的优越权衡。

ABSTRACT

Low-Light Image Enhancement is a computer vision task which intensifies the dark images to appropriate brightness. It can also be seen as an ill-posed problem in image restoration domain. With the success of deep neural networks, the convolutional neural networks surpass the traditional algorithm-based methods and become the mainstream in the computer vision area. To advance the performance of enhancement algorithms, we propose an image enhancement network (HWMNet) based on an improved hierarchical model: M-Net+. Specifically, we use a half wavelet attention block on M-Net+ to enrich the features from wavelet domain. Furthermore, our HWMNet has competitive performance results on two image enhancement datasets in terms of quantitative metrics and visual quality. The source code and pretrained model are available at https://github.com/FanChiMao/HWMNet.

研究动机与目标

• 为解决现有分层网络在低光照图像增强中因基于池化的下采样导致的空间信息损失问题。
• 通过新型注意力机制将小波域信息融入网络，提升特征表示能力。
• 在保持或提升增强质量的同时，降低计算复杂度，优于现有SOTA模型。
• 开发一种轻量化但强大的架构，通过选择性卷积融合有效融合多分辨率特征。

提出的方法

• 提出M-Net+，一种基于M-Net的改进分层架构，用可学习下采样（像素打乱）替代最大池化，以保留空间细节。
• 提出半波尔特注意力模块（HWAB），对输入特征应用二维离散小波变换，在小波子带（LL、LH、HL、HH）上施加可学习注意力，并重建增强后的特征。
• 采用选择性卷积特征融合（SKFF）动态结合多尺度特征，替代拼接操作，提升特征融合效率。
• 采用端到端训练，使用Charbonnier损失函数：$\mathcal{L}_{char} = \sqrt{||\hat{X}-X||^{2} + \varepsilon^{2}}$，其中$\varepsilon = 10^{-3}$，以优化重建保真度。
• 在主干路径中使用权重重用的3×3卷积和双线性下采样，以保持跨尺度的特征一致性。
• 在编码器和解码器路径中采用门控跳跃连接机制，以增强梯度流动和特征传播。

实验结果

研究问题

• RQ1 与标准M-Net相比，改进的分层网络架构（M-Net+）是否能有效减少低光照图像增强中的空间信息损失？
• RQ2 通过专用注意力机制（HWAB）整合小波域特征，是否能提升特征多样性与增强质量？
• RQ3 所提出的半波尔特注意力机制是否能在保持或提升性能的同时降低计算成本，优于现有SOTA模型？
• RQ4 小波注意力与选择性卷积融合的结合，如何影响模型在细节重建与色彩保真度方面的表现？

主要发现

• 在LOL数据集上，HWMNet的PSNR为24.24，SSIM为0.85，LPIPS为0.12，在所有指标中排名第二。
• 在MIT-Adobe FiveK数据集上，HWMNet的PSNR为24.44，SSIM为0.914，优于所有对比方法，包括MIRNet和DeepUPE。
• 在400×592图像上，HWMNet仅需0.92T FLOPs，显著低于MIRNet（2.84T）和LLFlow（1.05T），表明其计算效率更优。
• 在两个数据集上的视觉对比显示，HWMNet生成的颜色更自然，且在纹理与细节保留方面优于对比方法。
• 消融实验证实，M-Net+架构与HWAB模块均对性能提升有显著贡献，其中小波注意力显著增强了特征丰富度。
• 模型在多样化的实际低光照条件下泛化能力良好，MIT-Adobe FiveK数据集中的室内外场景均表现出一致的优异性能。