[论文解读] Rapid Feature Learning with Stacked Linear Denoisers

Zhixiang Xu, Kilian Q. Weinberger+1 more|arXiv (Cornell University)|May 5, 2011

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 3

一句话总结

本文提出 SLIDE，一种基于堆叠线性去噪自编码器的快速、闭式解法无监督预训练方法，在数秒内实现最先进的SVM分类性能——相比SdA快几个数量级，且在四个基准中的三个上优于SdA和深度神经网络。

ABSTRACT

We investigate unsupervised pre-training of deep architectures as feature generators for "shallow" classifiers. Stacked Denoising Autoencoders (SdA), when used as feature pre-processing tools for SVM classification, can lead to significant improvements in accuracy - however, at the price of a substantial increase in computational cost. In this paper we create a simple algorithm which mimics the layer by layer training of SdAs. However, in contrast to SdAs, our algorithm requires no training through gradient descent as the parameters can be computed in closed-form. It can be implemented in less than 20 lines of MATLABTMand reduces the computation time from several hours to mere seconds. We show that our feature transformation reliably improves the results of SVM classification significantly on all our data sets - often outperforming SdAs and even deep neural networks in three out of four deep learning benchmarks.

研究动机与目标

• 为解决深度学习中无监督预训练的高计算成本，特别是堆叠去噪自编码器（SdA）的计算问题。
• 开发一种快速、可扩展的SdA替代方法，避免使用基于梯度的迭代优化。
• 在不损失性能的前提下，为SVM等浅层分类器实现高效特征生成。
• 证明凸闭式方法可在标准基准上达到或超越深度学习模型的准确性。

提出的方法

• 以单层线性去噪自编码器作为构建模块，输入经过噪声污染，模型通过线性回归学习重建原始输入。
• 使用矩阵求逆获得自编码器参数的闭式解，无需梯度下降或超参数调优。
• 分层堆叠多个去噪自编码器，将前一层的输出作为下一层的输入，模仿SdA的层次化特征学习机制。
• 将最后一层的输出作为SVM分类的输入特征，避免端到端反向传播。
• 仅需控制噪声水平和堆叠层数两个超参数，简化配置过程。
• 整个算法在20行以内MATLAB代码内实现，实现近乎即时的特征转换。

实验结果

研究问题

• RQ1 闭式、非迭代方法能否复现堆叠去噪自编码器的特征学习能力？
• RQ2 此类方法能否在标准基准上实现与SdA和深度神经网络相当或更优的分类准确率？
• RQ3 该方法能否在保持或提升性能的同时，将预训练时间大幅缩短？
• RQ4 该方法在包括图像和结构化数据在内的多样化数据集上是否具有良好的泛化能力？

主要发现

• SLIDE将预训练时间从SdA在GPU上的数小时缩短至所有数据集下不足10秒，最快实现4,100倍加速。
• 在四个基准数据集上，SLIDE-SVM在三个数据集中优于SdA-SVM，在MNIST上表现相当，且在Rect-Images和Convex数据集上达到最低错误率。
• SLIDE-SVM在Rect-Images上实现11.93%的错误率，优于SdA（12.18%）和PCA（18.13%），在Convex上实现18.41%的错误率，优于SdA（18.13%）和PCA（18.13%）。
• SLIDE在大多数数据集上持续优于原始特征（Raw-SVM），甚至优于白化和PCA方法。
• 该方法的简洁性与高效性使其成为复杂深度学习预训练流程的可行、高性能替代方案。
• SLIDE在多种数据类型上表现稳定一致，表明其具备强大的泛化能力，可作为预处理工具广泛使用。