[论文解读] An Analysis of Unsupervised Pre-training in Light of Recent Advances

Tom Le Paine, Pooya Khorrami+2 more|arXiv (Cornell University)|Dec 20, 2014

Advanced Neural Network Applications参考文献 18被引用 38

一句话总结

本文通过整合 ReLU 激活函数和近期的正则化技术，研究了现代深度学习中的无监督预训练，发现当无监督数据充足时性能有所提升，但当有监督数据占主导时准确率反而下降。在使用颜色增强进行预训练的情况下，该方法在 STL-10 上取得了接近最先进水平的结果。

ABSTRACT

Convolutional neural networks perform well on object recognition because of a number of recent advances: rectified linear units (ReLUs), data augmentation, dropout, and large labelled datasets. Unsupervised data has been proposed as another way to improve performance. Unfortunately, unsupervised pre-training is not used by state-of-the-art methods leading to the following question: Is unsupervised pre-training still useful given recent advances? If so, when? We answer this in three parts: we 1) develop an unsupervised method that incorporates ReLUs and recent unsupervised regularization techniques, 2) analyze the benefits of unsupervised pre-training compared to data augmentation and dropout on CIFAR-10 while varying the ratio of unsupervised to supervised samples, 3) verify our findings on STL-10. We discover unsupervised pre-training, as expected, helps when the ratio of unsupervised to supervised samples is high, and surprisingly, hurts when the ratio is low. We also use unsupervised pre-training with additional color augmentation to achieve near state-of-the-art performance on STL-10.

研究动机与目标

• 评估在 ReLU、Dropout 和数据增强等近期进展出现后，无监督预训练是否仍然具有优势。
• 设计一种结合现代深度学习技术（如 ReLU 和无监督正则化）的新无监督预训练方法。
• 评估在 CIFAR-10 上，无监督预训练相对于数据增强和 Dropout 在不同无监督与有监督数据比例下的影响。
• 在另一个基准数据集 STL-10 上验证结论，采用预训练结合颜色增强的方法。

提出的方法

• 开发了一种将 ReLU 激活函数与近期无监督正则化技术相结合的无监督预训练方法。
• 使用所提出的方法在大规模无监督数据上训练卷积神经网络，随后在有监督数据上进行微调。
• 在 CIFAR-10 上比较不同无监督与有监督样本比例下的性能，测量是否使用预训练的准确率差异。
• 在 STL-10 上应用该预训练方法，并额外引入颜色增强，以测试泛化能力和性能提升效果。

实验结果

研究问题

• RQ1 当使用 ReLU 和 Dropout 等现代技术时，无监督预训练是否仍具有优势？
• RQ2 无监督与有监督数据的比例如何影响无监督预训练的实用性？
• RQ3 在不同数据配置下，无监督预训练相较于数据增强和 Dropout 是提升还是降低性能？
• RQ4 无监督预训练结合数据增强是否能在 STL-10 上实现接近最先进水平的性能？

主要发现

• 当无监督与有监督样本的比例较高时，无监督预训练能提升性能，证实其在低监督场景下的价值。
• 出人意料的是，当无监督与有监督样本的比例较低时，无监督预训练反而会降低性能，表明可能存在负面干扰。
• 所提出的结合 ReLU 和无监督正则化的预训练方法，能有效提升模型在下游任务中的泛化能力。
• 在 STL-10 上，将无监督预训练与颜色增强结合，可实现接近最先进水平的性能，证明了其实际有效性。