[论文解读] Comparison of Training Methods for Deep Neural Networks

Patrick Glauner|arXiv (Cornell University)|Apr 26, 2015

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 9

一句话总结

本文比较了深度神经网络的预训练方法，重点关注基于受限玻尔兹曼机（RBMs）的深度置信网络（DBNs）与堆叠自编码器（SAEs）。在MNIST和Kaggle面部情绪数据集上评估这些方法，结果表明，经过优化的SAE在测试集上达到39.75%的误差率，优于最佳Kaggle竞赛结果（52.977%），凸显了在数据受限条件下，通过合理超参数调优与去噪正则化可显著提升性能。

ABSTRACT

This report describes the difficulties of training neural networks and in particular deep neural networks. It then provides a literature review of training methods for deep neural networks, with a focus on pre-training. It focuses on Deep Belief Networks composed of Restricted Boltzmann Machines and Stacked Autoencoders and provides an outreach on further and alternative approaches. It also includes related practical recommendations from the literature on training them. In the second part, initial experiments using some of the covered methods are performed on two databases. In particular, experiments are performed on the MNIST hand-written digit dataset and on facial emotion data from a Kaggle competition. The results are discussed in the context of results reported in other research papers. An error rate lower than the best contribution to the Kaggle competition is achieved using an optimized Stacked Autoencoder.

研究动机与目标

• 评估并比较深度神经网络的预训练方法，特别是RBMs与自编码器在复杂计算机视觉任务中的表现。
• 研究超参数选择与正则化技术对模型泛化能力与性能的影响。
• 评估在有限且含噪声的数据集（如Kaggle面部情绪数据集）上应用深度学习方法的可行性与有效性。
• 基于实证实验与文献综述，为深度网络训练提供实用建议。

提出的方法

• 使用对比散度算法，通过受限玻尔兹曼机（RBMs）进行贪婪逐层预训练，以初始化深度置信网络。
• 采用带有去噪与稀疏正则化的堆叠自编码器，以贪婪无监督方式学习分层特征表示。
• 在预训练后使用反向传播进行微调，使网络适应分类任务。
• 在随机梯度下降中应用标准深度学习技术，包括L2正则化、Dropout、批量归一化与动量。
• 通过交叉验证与超参数调优，在MNIST与Kaggle数据集上使用Hinton库与深度学习工具箱进行模型选择。
• 通过消融研究比较标准自编码器、去噪自编码器与DBNs在相同配置下的表现，以隔离架构与正则化的影响。

实验结果

研究问题

• RQ1 在MNIST与面部情绪识别等图像分类任务中，基于RBMs的DBNs与堆叠自编码器在性能上如何比较？
• RQ2 学习率、动量、L2正则化与Dropout等超参数选择对深度神经网络泛化误差有何影响？
• RQ3 当使用相同最优超参数训练时，标准堆叠自编码器是否可能优于去噪自编码器？原因是什么？
• RQ4 为何DBNs与去噪自编码器在Kaggle面部情绪数据集上均达到72.25%的高误差率平台，其根本原因是什么？
• RQ5 主成分分析（PCA）与白化等数据预处理技术在减少冗余与噪声方面，能在多大程度上降低误差平台并提升在含噪声、冗余数据集上的性能？

主要发现

• 经优化的堆叠自编码器在Kaggle面部情绪数据集上达到39.75%的测试误差率，显著优于最佳竞赛结果（52.977%）。
• DBNs与去噪自编码器在Kaggle数据集上均达到72.25%的高误差平台，表明即使在最优超参数调优下，仍受模型与数据限制影响。
• 在去噪自编码器与DBNs中表现不佳的相同超参数，在标准堆叠自编码器中却带来显著性能提升，表明在特定数据条件下，去噪可能并无益处。
• Kaggle数据集上的测试误差平台可能源于数据噪声、特征冗余、训练样本不足，以及所用深度学习工具箱的潜在局限性。
• 模型性能对超参数选择极为敏感，不同学习率、动量与正则化值导致误差率显著差异，凸显了精细调优的必要性。
• 结果表明，主成分分析（PCA）与白化等数据预处理技术可通过去除冗余与去相关特征降低误差率，尽管本研究未实际实施这些方法。