[论文解读] Learning Sparse Wavelet Representations

Daniel Recoskie, Richard Mann|arXiv (Cornell University)|Feb 8, 2018

Image and Signal Denoising Methods参考文献 9被引用 6

一句话总结

本文提出了一种可微分的、端到端可训练的自编码器框架，通过改进的卷积神经网络（CNN）架构，直接从原始数据中学习稀疏小波滤波器。通过梯度下降训练，该模型从合成和真实的音频数据中学习到结构化的小波函数，其形式与传统的傅里叶推导的小波非常相似，从而在无需预先设计小波的情况下，实现有效的信号重建与生成。

ABSTRACT

In this work we propose a method for learning wavelet filters directly from data. We accomplish this by framing the discrete wavelet transform as a modified convolutional neural network. We introduce an autoencoder wavelet transform network that is trained using gradient descent. We show that the model is capable of learning structured wavelet filters from synthetic and real data. The learned wavelets are shown to be similar to traditional wavelets that are derived using Fourier methods. Our method is simple to implement and easily incorporated into neural network architectures. A major advantage to our model is that we can learn from raw audio data.

研究动机与目标

• 为解决在机器学习应用中选择或设计合适小波函数的挑战，该挑战通常需要深厚的的小波理论知识。
• 实现从小波滤波器的端到端学习，直接从原始数据中学习，绕过傅里叶方法的解析推导。
• 通过将小波变换建模为可微分的神经网络层，将其整合到深度学习流水线中。
• 证明所学习的小波能够捕捉数据特定的结构，并支持有效的信号重建与生成。
• 展示该方法实现简单，且与TensorFlow等现有深度学习框架兼容。

提出的方法

• 将离散小波变换（DWT）重新表述为使用两个可学习滤波器的改进卷积神经网络：尺度滤波器（h）和小波滤波器（g）。
• 该模型采用两阶段自编码器架构：先通过小波变换编码器，再通过小波逆变换解码器。
• 使用随机梯度下降配合Adam优化器训练网络，以最小化输入信号的重建损失。
• 滤波器权重通过级联算法初始化，以确保完美重建和稳定性。
• 采用基于循环移位余弦相似度的距离度量，将所学滤波器与传统小波族（如Daubechies、Coiflets）进行比较。
• 通过稀疏填充小波系数并应用逆变换来评估信号生成，从而从所学滤波器生成新信号。

实验结果

研究问题

• RQ1 能否使用基于梯度的优化方法，从未处理数据中有效学习小波滤波器？
• RQ2 所学习的小波是否与Daubechies或Coiflets等既定小波族具有结构相似性？
• RQ3 所学习的小波能否重建并生成保留训练数据统计特性和时间结构的信号？
• RQ4 在重建精度和信号保真度方面，所学习的小波与固定、解析推导的小波相比表现如何？
• RQ5 该方法在多大程度上可被集成到现有的深度学习流水线中，用于音频和信号处理任务？

主要发现

• 该模型成功地从合成谐波信号和MAPS数据集中的真实音频数据中学习到结构化的小波滤波器。
• 所学习的小波与传统小波表现出高度相似性，与Daubechies和Coiflet族的余弦距离得分低至0.05。
• 从所学小波的稀疏系数生成的信号在视觉上与训练信号相似，表明其有效捕捉了数据结构。
• 该方法可直接从原始音频学习，无需依赖如傅里叶变换等手工设计的表示。
• 该框架与TensorFlow等深度学习库兼容，可无缝集成到现有神经网络架构中。
• 自编码器结构实现了高质量的信号重建，证明了所学小波基的有效性。