[论文解读] k-Sparse Autoencoders

Alireza Makhzani, Brendan J. Frey|arXiv (Cornell University)|Dec 19, 2013

Domain Adaptation and Few-Shot Learning参考文献 14被引用 148

一句话总结

本文提出k-稀疏自编码器，一种通过在线性自编码器中仅保留隐藏单元激活值中最大的k个来学习稀疏表征的快速高效方法。该方法在MNIST和NORB数据集上实现了最先进（SOTA）的分类性能，优于去噪自编码器、Dropout、RBM和标准稀疏自编码器，且由于其简单、可微的稀疏性机制，计算开销极低。

ABSTRACT

Recently, it has been observed that when representations are learnt in a way that encourages sparsity, improved performance is obtained on classification tasks. These methods involve combinations of activation functions, sampling steps and different kinds of penalties. To investigate the effectiveness of sparsity by itself, we propose the k-sparse autoencoder, which is an autoencoder with linear activation function, where in hidden layers only the k highest activities are kept. When applied to the MNIST and NORB datasets, we find that this method achieves better classification results than denoising autoencoders, networks trained with dropout, and RBMs. k-sparse autoencoders are simple to train and the encoding stage is very fast, making them well-suited to large problem sizes, where conventional sparse coding algorithms cannot be applied.

研究动机与目标

• 探究仅通过稀疏性（无额外非线性或正则化）是否能实现更优的表征学习。
• 开发一种计算高效的传统稀疏编码替代方法，后者因字典学习和稀疏编码步骤中的迭代优化而速度较慢。
• 评估k-稀疏自编码器作为监督深度学习在标准视觉基准上的预训练方法的有效性。
• 在浅层和深层学习设置中，比较k-稀疏自编码器与去噪自编码器、Dropout和RBM等成熟方法的性能。

提出的方法

• k-稀疏自编码器使用权重共享的线性自编码器及线性激活函数。
• 在计算隐藏表征 z = W^T x + b 后，仅保留k个最大激活值，其余全部置零，从而强制实现精确稀疏性。
• 稀疏性通过硬阈值操作实现：z_sparse = z * one_hot(top_k(z))，其中 top_k 用于识别k个最大值的索引。
• 该方法通过标准反向传播端到端训练，稀疏性约束在前向传播过程中强制执行。
• 在下游分类任务中，k-稀疏表征被用作分类器的输入，微调阶段同样应用相同的k个最大值选择，以保持一致性。
• 该方法通过贪婪的逐层预训练方式支持浅层和深层架构，随后进行判别性微调。

实验结果

研究问题

• RQ1 通过固定选择k个最大激活值强制实现隐藏表征中的精确稀疏性，是否能优于传统稀疏编码或其他正则化技术？
• RQ2 k的选择如何影响学习表征的质量及下游分类准确率？
• RQ3 k-稀疏自编码器能否作为深度神经网络的有效预训练方法，与RBM或去噪自编码器相当？
• RQ4 当稀疏性为唯一正则化手段时，是否无需非线性激活函数和额外惩罚项即可提升性能？

主要发现

• 在MNIST数据集上，当在具有逐层预训练的深层架构中使用时，k-稀疏自编码器的测试误差为0.97%，优于所有基线方法，包括去噪自编码器和Dropout。
• 在MNIST的浅层网络中，当k=25时，k-稀疏自编码器的误差为1.08%，优于去噪自编码器（1.20%）和Dropout（1.05%）的微调结果。
• 在NORB数据集上，深层k-稀疏自编码器在k=150时达到7.4%的误差，优于浅层设置中表现最佳的第三阶RBM（6.5%）。
• 在浅层和深层的监督学习设置中，k-稀疏自编码器在性能上均优于RBM、去噪自编码器和基于Dropout的自编码器。
• 该方法计算效率高：编码速度快，仅需识别k个最大激活值，避免了传统稀疏编码中昂贵的迭代求解器。
• 结果表明，仅通过稀疏性（无需额外非线性或惩罚项）即可实现最先进性能，凸显了结构化稀疏性在表征学习中的强大作用。