[论文解读] Multi-level Wavelet-CNN for Image Restoration

Pengju Liu, Hongzhi Zhang+3 more|arXiv (Cornell University)|May 18, 2018

Image and Signal Denoising Methods参考文献 51被引用 36

一句话总结

该论文提出了一种新型的U-Net架构——多层级小波-CNN（MWCNN），其在编码路径中用离散小波变换（DWT）替代池化层，在解码路径中用逆小波变换（IWT）替代上采样操作，从而在不增加计算成本的前提下扩大感受野。通过利用小波的时间-频率局部化特性，MWCNN在图像去噪、超分辨率和JPEG伪影去除任务中均取得了当前最优性能，在PSNR与效率的权衡上优于空洞卷积网络及其他基线模型。

ABSTRACT

The tradeoff between receptive field size and efficiency is a crucial issue in low level vision. Plain convolutional networks (CNNs) generally enlarge the receptive field at the expense of computational cost. Recently, dilated filtering has been adopted to address this issue. But it suffers from gridding effect, and the resulting receptive field is only a sparse sampling of input image with checkerboard patterns. In this paper, we present a novel multi-level wavelet CNN (MWCNN) model for better tradeoff between receptive field size and computational efficiency. With the modified U-Net architecture, wavelet transform is introduced to reduce the size of feature maps in the contracting subnetwork. Furthermore, another convolutional layer is further used to decrease the channels of feature maps. In the expanding subnetwork, inverse wavelet transform is then deployed to reconstruct the high resolution feature maps. Our MWCNN can also be explained as the generalization of dilated filtering and subsampling, and can be applied to many image restoration tasks. The experimental results clearly show the effectiveness of MWCNN for image denoising, single image super-resolution, and JPEG image artifacts removal.

研究动机与目标

• 解决低层次视觉任务中感受野大小与计算效率之间的权衡问题。
• 通过用多层级小波分解替代稀疏采样，克服空洞卷积固有的网格效应。
• 在特征下采样与重建过程中保留细粒度纹理和结构细节。
• 提供一种可泛化的架构，适用于多种图像恢复任务。
• 证明基于小波的下采样在恢复性能上优于最大池化和可学习滤波器。

提出的方法

• MWCNN架构基于改进的U-Net，其编码路径采用离散小波变换（DWT）实现多层级下采样。
• 在编码路径中，DWT将特征图分解为子带，同时保留频率与空间信息。
• 每个DWT后添加卷积层以减少通道数，降低计算负载。
• 在解码路径中，逆小波变换（IWT）从子带重建高分辨率特征图。
• 通过逐元素相加的跳跃连接，将编码路径与解码路径的特征进行融合，增强特征融合效果。
• 该方法泛化了空洞滤波与下采样机制，小波变换作为结构化、可逆的下采样方式发挥作用。

实验结果

研究问题

• RQ1 在U-Net架构中，基于小波的下采样能否实现比标准池化或空洞卷积更大的有效感受野？
• RQ2 与最大池化或可学习滤波器相比，DWT与IWT是否能更好地保留结构与纹理细节？
• RQ3 MWCNN框架能否在保持计算效率的同时，优于现有CNN在图像恢复任务中的表现？
• RQ4 小波滤波器的选择（如Haar、DB2、Hermite）如何影响恢复性能与速度？
• RQ5 与单层级分解相比，多层级小波分解在图像恢复中是否更具有效性？

主要发现

• 在Set5 ×4超分辨率基准测试中，MWCNN的PSNR高于当前最优模型（如VDSR、DnCNN、LapSRN），且推理时间仅略有增加。
• 在噪声水平为50的高斯去噪任务中，MWCNN-3（3级分解）在Set12数据集上达到27.74 dB的PSNR，优于MWCNN-1与MWCNN-2，同时保持合理速度。
• 在所测试的小波中，Haar小波表现最佳，MWCNN (Haar) 的PSNR与空洞CNN相当，但感受野覆盖更优。
• 消融实验表明，求和连接在效率方面优于拼接，且不损失PSNR性能。
• 24层的MWCNN-3在性能与速度之间达到最佳平衡，更深的MWCNN-4几乎无性能增益。
• 独立处理小波子带（如DCF方法）会损害性能，证实MWCNN通过联合建模优于子带专用网络。