[论文解读] Lateral Connections in Denoising Autoencoders Support Supervised Learning

Antti Rasmus, Harri Valpola+1 more|arXiv (Cornell University)|Apr 30, 2015

Generative Adversarial Networks and Image Synthesis参考文献 13被引用 11

一句话总结

本文提出一种带有侧向连接的深度去噪自编码器，通过反向传播联合优化监督分类与无监督去噪，消除了预训练的需要。该模型在排列不变MNIST分类任务上实现了0.684%的新SOTA测试误差，显著优于先前方法。

ABSTRACT

We show how a deep denoising autoencoder with lateral connections can be used as an auxiliary unsupervised learning task to support supervised learning. The proposed model is trained to minimize simultaneously the sum of supervised and unsupervised cost functions by back-propagation, avoiding the need for layer-wise pretraining. It improves the state of the art significantly in the permutation-invariant MNIST classification task.

研究动机与目标

• 通过将无监督去噪自编码器作为辅助任务，提升监督学习的泛化能力。
• 通过反向传播联合优化监督与无监督目标，消除对逐层预训练的需求。
• 探究去噪自编码器中的侧向连接是否能增强分类任务的特征学习能力。
• 证明金字塔形网络结构（高层维度更低）在使用侧向连接时，优于对称结构。
• 在具有挑战性的排列不变MNIST设置下，评估无监督辅助训练对泛化能力的影响。

提出的方法

• 模型采用带有批量归一化和ReLU非线性的多层感知器编码器，顶层输出类别预测。
• 输入数据通过各向同性高斯噪声进行破坏，网络通过去噪自编码器路径学习重建原始输入。
• 侧向连接使每个隐藏单元能从解码器中对应单元接收直接的、逐神经元的反馈，实现详细的信息流动。
• 解码器使用包含可学习参数 $ c_{ij}^{(l)} $、$ d_{ij}^{(l)} $ 和Sigmoid非线性的参数化函数，以建模复杂的去噪函数。
• 无监督损失为重建输入与原始输入之间的均方误差，监督损失为真实标签的负对数似然。
• 两个损失通过超参数 $ \eta $ 组合，模型使用带有线性衰减学习率的Adam优化器进行训练。

实验结果

研究问题

• RQ1 去噪自编码器中的侧向连接是否能提升监督学习任务的泛化能力？
• RQ2 通过反向传播联合训练监督与无监督目标，是否优于在排列不变MNIST上的标准监督训练？
• RQ3 当使用侧向连接时，自编码器的架构（如金字塔形与对称形）如何影响性能？
• RQ4 在泛化能力方面，监督与无监督损失项之间的最优平衡是什么？
• RQ5 所提出的模型是否能在无需预训练或复杂推理过程的情况下实现SOTA性能？

主要发现

• 该模型在排列不变MNIST分类任务上实现了0.684%的测试误差，显著优于此前SOTA的0.782%。
• 最佳性能出现在无监督损失乘数 $ \eta = 500 $ 时，表明辅助去噪任务具有显著优势。
• 层宽为784-1000-500-250-250-250-10的模型优于浅层结构，表明深层网络结合侧向连接具有高效性。
• 纯监督训练（$ \eta = 0 $）的平均测试误差为0.89%，证实了无监督辅助任务的积极影响。
• 结合批量归一化与Adam优化，模型收敛迅速且稳定，展现出良好的实用性和易训练性。
• 结果表明，结合侧向连接的无监督去噪可使网络学习到更鲁棒、更具泛化能力的特征，聚焦于关键信息。