[论文解读] Analyzing noise in autoencoders and deep networks

Ben Poole, Jascha Sohl‐Dickstein+1 more|arXiv (Cornell University)|Jun 6, 2014

Model Reduction and Neural Networks参考文献 4被引用 68

一句话总结

本文提出了噪声自编码器（NAEs），这是一种统一框架，通过在输入、隐藏单元输入和隐藏激活等多个层级注入噪声，以提升表征学习性能。通过系统分析不同类型的噪声，作者表明NAE在去噪任务中优于去噪自编码器，并在MNIST和CIFAR-10数据集上实现了最先进（SOTA）的性能，其中高斯噪声和泊松噪声分别提升了表征的稀疏性、去相关性以及信息传播能力。

ABSTRACT

Autoencoders have emerged as a useful framework for unsupervised learning of internal representations, and a wide variety of apparently conceptually disparate regularization techniques have been proposed to generate useful features. Here we extend existing denoising autoencoders to additionally inject noise before the nonlinearity, and at the hidden unit activations. We show that a wide variety of previous methods, including denoising, contractive, and sparse autoencoders, as well as dropout can be interpreted using this framework. This noise injection framework reaps practical benefits by providing a unified strategy to develop new internal representations by designing the nature of the injected noise. We show that noisy autoencoders outperform denoising autoencoders at the very task of denoising, and are competitive with other single-layer techniques on MNIST, and CIFAR-10. We also show that types of noise other than dropout improve performance in a deep network through sparsifying, decorrelating, and spreading information across representations.

研究动机与目标

• 将自编码器中的多种正则化技术（如去噪、收缩、稀疏和Dropout）统一到单一的噪声注入框架下。
• 研究在不同层级（输入、隐藏单元输入、隐藏激活）注入噪声如何提升表征的鲁棒性与泛化能力。
• 评估替代性噪声类型（如高斯噪声、泊松噪声）是否在无监督预训练和有监督微调中优于标准Dropout。
• 理解噪声如何增强表征的稀疏性、去相关性以及信息分布。
• 探索无监督噪声注入与有监督微调噪声之间的相互作用，以实现深层网络的最优性能。

提出的方法

• 提出一种噪声自编码器（NAE）模型，通过在三个层级注入独立噪声：输入扰动（ε_I）、隐藏单元输入噪声（ε_H）和隐藏激活噪声（ε_Z），以三元组（ε_I, ε_H, ε_Z）参数化。
• 通过引入受噪声影响的随机操作定义编码器与重构函数：h̃(x) = s_f((W(x ⊙ ε_I) + b) ⊙ ε_Z) ⊙ ε_H 和 r(x) = s_g((W' h̃ + d) ⊙ ε_H)，其中 ⊙ 表示逐元素乘法或加法。
• 通过最小化噪声分布上的期望重构误差进行NAE训练：E[L(x, r(x, ε_I, ε_Z, ε_H))]，支持端到端学习与随机反向传播。
• 通过边缘化特定噪声类型，推导出NAE与已有方法（如收缩自编码器、稀疏自编码器和Dropout）之间的解析关联。
• 采用带动量的随机梯度下降在MNIST和CIFAR-10上训练模型，比较加性高斯噪声、泊松噪声（方差与均值成比例）和Dropout的表现。
• 在有监督微调中引入噪声以评估性能增益，并分析无监督预训练与有监督噪声之间的相互作用效应。

实验结果

研究问题

• RQ1 在自编码器的多个层级注入噪声，是否能够统一并推广现有的正则化技术（如去噪、收缩、稀疏和Dropout自编码器）？
• RQ2 与标准Dropout相比，使用非Dropout型噪声（如加性高斯噪声或泊松噪声）是否能提升表征质量与分类准确率？
• RQ3 噪声注入如何影响学习表征的关键属性，如稀疏性、去相关性以及激活谱？
• RQ4 噪声自编码器是否能在去噪任务本身上优于去噪自编码器？
• RQ5 无监督噪声注入与有监督微调噪声之间的相互作用如何影响最终模型性能？

主要发现

• 噪声自编码器在去噪任务中优于标准去噪自编码器，表明多层级噪声注入可显著提升鲁棒性，其效果超越仅在输入层进行扰动的方案。
• 在MNIST数据集上，采用加性高斯噪声的最优NAE模型实现85次测试错误，优于Dropout（96次错误）和Maxout网络（96次错误），成为单层预训练模型中表现最佳者。
• 泊松噪声变体实现92次测试错误，表明方差与激活均值成比例的噪声也能提升性能，尽管效果弱于高斯噪声。
• 高斯噪声使第二层表征的稀疏性最高，而Dropout在第一层诱导了最高的稀疏性（包括生命周期与群体稀疏性指标）。
• 所有噪声类型均提升了稀疏性并增强了激活的去相关性，相比无噪声网络，噪声网络表现出更平坦的激活谱，表明信息分布更均匀。
• 结果表明，噪声注入通过在不同类别表征间产生有效排斥力，同时压缩同类样本点，从而促进类别分离，增强泛化能力。