[论文解读] Deep Learning in the Wavelet Domain

Fergal Cotter, Nick Kingsbury|arXiv (Cornell University)|Nov 14, 2018

Image and Signal Denoising Methods参考文献 18被引用 14

一句话总结

本文提出了一种新型深度学习层，通过双树复小波变换（DT-CWT）在小波域中执行卷积特征学习，实现参数可学习、局部化且稀疏的滤波，参数量显著少于标准卷积神经网络（CNN）。该方法在CIFAR-10/100上实现了接近合成数据的性能，证明了其端到端可训练性，并可通过梯度反向传播与标准网络兼容，适用于多速率小波系统。

ABSTRACT

This paper examines the possibility of, and the possible advantages to learning the filters of convolutional neural networks (CNNs) for image analysis in the wavelet domain. We are stimulated by both Mallat's scattering transform and the idea of filtering in the Fourier domain. It is important to explore new spaces in which to learn, as these may provide inherent advantages that are not available in the pixel space. However, the scattering transform is limited by its inability to learn in between scattering orders, and any Fourier domain filtering is limited by the large number of filter parameters needed to get localized filters. Instead we consider filtering in the wavelet domain with learnable filters. The wavelet space allows us to have local, smooth filters with far fewer parameters, and learnability can give us flexibility. We present a novel layer which takes CNN activations into the wavelet space, learns parameters and returns to the pixel space. This allows it to be easily dropped in to any neural network without affecting the structure. As part of this work, we show how to pass gradients through a multirate system and give preliminary results.

研究动机与目标

• 探索小波域中的学习作为像素空间卷积的替代方案，以提升特征不变性与参数效率。
• 克服固定散射变换与傅里叶域参数化方法的局限性，实现在小波域中可学习、局部化的滤波器。
• 设计一种可微分的小波基网络层，可无缝集成到现有CNN架构中，无需结构修改。
• 实现通过多速率小波变换的端到端训练，包括复小波系数的梯度计算。
• 评估小波域学习在标准图像分类基准上的可行性与性能表现。

提出的方法

• 通过双树复小波变换（DT-CWT）将CNN激活值转换到小波域，该变换具备方向选择性并减少混叠效应。
• 对各个小波子带应用可学习的复数增益，对低通子带应用实数增益，从而在频域中以极少参数实现局部化滤波。
• 该层在复小波系数上执行类似1×1卷积的操作，实现对子带能量的空间局部化、可学习调制。
• 通过证明逆小波变换的梯度等价于使用反向滤波器的前向变换，实现了反向传播，使梯度能够通过多速率系统流动。
• 通过输出梯度与前向传播中时间反转的小波系数的卷积，推导出权重更新规则。
• 该方法支持实数与复数小波系数，对增益的实部与虚部分别进行独立的梯度更新。

实验结果

研究问题

• RQ1 小波域中的可学习滤波器是否能在使用更少参数的情况下实现与标准CNN相当的性能？
• RQ2 如何在具有复数系数的多速率小波系统中有效实现反向传播？
• RQ3 与像素域学习相比，小波域学习是否在特征不变性或稀疏性方面具有优势？
• RQ4 小波域层是否可无缝集成到标准CNN架构中，而无需修改网络结构？
• RQ5 小波域学习的性能如何随图像尺寸与复杂度的变化而变化？

主要发现

• 所提出的波域层在CIFAR-10与CIFAR-100上的验证准确率几乎与标准CNN持平，仅出现轻微性能下降。
• 在CIFAR-10上，该小波模型在5次运行中平均验证准确率达到88.7%，而标准LeNet模型为89.1%，表现接近。
• 在CIFAR-100上，小波模型达到67.3%的平均准确率，与标准模型的68.0%相比，显示出强劲的竞争力。
• 与标准5×5卷积相比，该方法将每滤波器的参数量减少了约25倍，同时保持了约5×5与15×15像素的有效感受野。
• 该层成功实现了通过DT-CWT系统的梯度传播，支持使用Adam优化器与权重衰减的稳定端到端训练。
• 初步结果表明，将像素域非线性激活（如ReLU）与小波域软阈值函数结合，可能进一步提升性能。