[论文解读] Is Joint Training Better for Deep Auto-Encoders?

Yingbo Zhou, Devansh Arpit+2 more|arXiv (Cornell University)|May 6, 2014

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 26

一句话总结

本文提出通过单一全局重建目标联合训练深度自编码器，实现端到端优化，相较于贪婪逐层预训练，能提升数据建模能力和特征表示。实验结果表明，联合训练在无监督和有监督设置下均表现更优，尤其在深层模型中结合现代正则化方法时优势显著。

ABSTRACT

Traditionally, when generative models of data are developed via deep architectures, greedy layer-wise pre-training is employed. In a well-trained model, the lower layer of the architecture models the data distribution conditional upon the hidden variables, while the higher layers model the hidden distribution prior. But due to the greedy scheme of the layerwise training technique, the parameters of lower layers are fixed when training higher layers. This makes it extremely challenging for the model to learn the hidden distribution prior, which in turn leads to a suboptimal model for the data distribution. We therefore investigate joint training of deep autoencoders, where the architecture is viewed as one stack of two or more single-layer autoencoders. A single global reconstruction objective is jointly optimized, such that the objective for the single autoencoders at each layer acts as a local, layer-level regularizer. We empirically evaluate the performance of this joint training scheme and observe that it not only learns a better data model, but also learns better higher layer representations, which highlights its potential for unsupervised feature learning. In addition, we find that the usage of regularizations in the joint training scheme is crucial in achieving good performance. In the supervised setting, joint training also shows superior performance when training deeper models. The joint training framework can thus provide a platform for investigating more efficient usage of different types of regularizers, especially in light of the growing volumes of available unlabeled data.

研究动机与目标

• 解决贪婪逐层预训练在深度自编码器中的局限性，即由于下层参数固定，高层逐渐失去对原始数据分布的感知。
• 探究联合训练（通过全局重建目标同时优化所有层）是否能带来更优的数据建模与表征学习效果。
• 评估正则化在联合训练中的影响，尤其与传统逐层方案进行对比。
• 评估联合预训练在有监督微调中的优势，特别是对深层网络的影响。
• 建立联合训练作为通用框架，以高效利用多样化正则化方法进行无监督表征学习。

提出的方法

• 为整个深度自编码器构建单一全局重建目标，取代贪婪的逐层优化，实现端到端训练。
• 在每个隐藏层引入局部正则化项，作为约束条件，在保留逐层正则化优势的同时支持联合优化。
• 将深度自编码器视为一系列单层自编码器的堆叠，其中每一层的重建损失共同构成全局目标。
• 采用标准自编码器架构，使用权重共享和非线性激活函数，通过随机梯度下降进行反向传播训练。
• 在联合训练框架中应用现代正则化方法，如去噪、Dropout和L2权重衰减，以提升泛化能力。
• 对联合训练与逐层训练方法采用相同的训练协议，确保在不同数据集和模型深度下的公平比较。

实验结果

研究问题

• RQ1 与贪婪逐层预训练相比，深度自编码器的联合训练是否能带来更优的数据重建与表征学习效果？
• RQ2 现代正则化的引入如何影响联合训练在深度自编码器中的性能表现？
• RQ3 联合预训练是否在有监督微调中具有优势，尤其是在深层模型中？
• RQ4 与逐层训练相比，联合训练能否保持或提升生成样本的质量与多样性？
• RQ5 与局部目标相比，全局重建目标在跨层保留原始数据分布信息方面是否更具有效性？

主要发现

• 在无监督表征学习中，联合训练始终优于贪婪逐层预训练，尤其在复杂数据分布（如MNIST-bg-random和MNIST-bg-rot-image）上表现更优。
• 在MNIST数据集上，联合训练结合正则化（UJ）的测试误差为18.00 ± 0.34，优于逐层训练的18.60 ± 0.34，表明泛化能力更强。
• 在更深的3层模型中，联合训练在有监督微调中展现出显著性能优势，表明其对深层架构更具优势。
• 在适当正则化下，联合训练框架生成的样本在定性比较中更清晰且更具多样性，表明泛化能力更强且记忆现象更少。
• 联合训练的成功高度依赖于先进正则化的使用——若缺乏正则化，性能显著下降，凸显其关键作用。
• 即使在有监督微调后，通过联合训练预训练的模型在深层网络中仍保持更优性能，表明联合预训练为下游任务提供了更优的初始化。