[论文解读] Denoising without access to clean data using a partitioned autoencoder

Dan Stowell, Richard E. Turner|arXiv (Cornell University)|Sep 20, 2015

Image and Signal Denoising Methods参考文献 14被引用 13

一句话总结

该论文提出了一种分区自编码器，通过仅使用噪声数据和弱标签的纯噪声样本，利用结构化正则化损失学习信号与噪声的独立潜在表征，实现对信号的去噪。该方法在匹配噪声条件下优于标准去噪自编码器，在无需访问真正干净训练数据的情况下，实现了对干净谱图的更优重建。

ABSTRACT

Training a denoising autoencoder neural network requires access to truly clean data, a requirement which is often impractical. To remedy this, we introduce a method to train an autoencoder using only noisy data, having examples with and without the signal class of interest. The autoencoder learns a partitioned representation of signal and noise, learning to reconstruct each separately. We illustrate the method by denoising birdsong audio (available abundantly in uncontrolled noisy datasets) using a convolutional autoencoder.

研究动机与目标

• 解决在去噪自编码器训练中缺乏真正干净数据的实际限制。
• 实现在仅拥有噪声数据和纯噪声样本时的去噪能力。
• 在无需干净数据的情况下，学习潜在空间中解耦的信号与噪声表征。
• 通过在潜在表征中显式建模噪声为独立成分，提升去噪保真度。
• 仅使用与信号相关的潜在系数，支持下游任务。

提出的方法

• 该方法使用标准自编码器，并在输入与输出数据之间采用重建损失。
• 通过可学习的掩码矩阵 C，采用结构化正则化项惩罚在纯噪声样本中激活与信号相关的潜在单元。
• 损失函数结合重建误差与正则化项：l(X,y) = ||X - X̂||² + (λy / C̄)||C ⊙ f(X)||²。
• 模型在小批量数据上进行训练，其中固定比例的样本为纯噪声样本（y=1），其余为信号加噪声混合样本（y=0）。
• 通过与二值掩码 C 的逐元素相乘实现分区，其中 1 表示与信号相关的潜在单元。
• 该方法利用了在真实场景（如鸟类鸣叫录音）中纯噪声数据丰富的事实，实现弱监督学习。

实验结果

研究问题

• RQ1 当训练过程中完全缺乏干净数据时，能否有效训练去噪自编码器？
• RQ2 模型如何在无干净样本访问的情况下，学习区分并分离潜在空间中的信号与噪声成分？
• RQ3 通过显式正则化纯噪声样本的分区潜在表征，是否能实现优于标准去噪自编码器的去噪性能？
• RQ4 当内在与外在噪声源不匹配时，该方法的泛化能力如何？
• RQ5 所学习的仅含信号的潜在表征是否能有效用于下游分析或分类？

主要发现

• 在匹配噪声条件下，所提出的分区自编码器在干净谱图重建上的信噪比（SNR）显著高于标准去噪自编码器。
• 在匹配条件下，该方法相比 DAE 显著提升，展现出对真实干净信号更高的保真度。
• 性能在广泛范围的正则化比例下保持稳定，仅在 100% 正则化时出现欠拟合，证实了正则化的有效性。
• 在不匹配噪声条件下，该方法无法泛化，表明浅层架构在多样化噪声类型下存在泛化局限。
• 标准 DAE 在其自身目标（重建部分干净输入）上表现良好，但在噪声不匹配时无法重建真正干净的信号。
• 结果表明，分区方法的优势源于潜在空间中对信号与噪声的显式解耦，而不仅仅是正则化本身。