[论文解读] A Winner-Take-All Method for Training Sparse Convolutional Autoencoders.

Alireza Makhzani, Brendan J. Frey|arXiv (Cornell University)|Sep 9, 2014

Face recognition and analysis参考文献 11被引用 30

一句话总结

本文提出了一种用于训练稀疏卷积自编码器的胜者通吃（WTA）方法，该方法同时在隐藏单元上强制执行生命周期稀疏性，并在特征图内实现空间稀疏性。通过将小批量统计信息与WTA激活函数相结合，该方法以无监督方式学习到平移不变、分层的稀疏表示，在MNIST、CIFAR-10、ImageNet、SVHN和CelebA数据集上实现了具有竞争力的分类性能。

ABSTRACT

In this paper, we propose a winner-take-all method for learning hierarchical sparse representations in an unsupervised fashion. We first introduce fully-connected winner-take-all autoencoders which use mini-batch statistics to directly enforce a lifetime sparsity in the activations of the hidden units. We then propose the convolutional winner-take-all autoencoder which combines the benefits of convolutional architectures and autoencoders for learning shift-invariant sparse representations. We describe a way to train convolutional autoencoders layer by layer, where in addition to lifetime sparsity, a spatial sparsity within each feature map is achieved using winner-take-all activation functions. We will show that winner-take-all autoencoders can be used to to learn deep sparse representations from the MNIST, CIFAR-10, ImageNet, Street View House Numbers and Toronto Face datasets, and achieve competitive classification performance.

研究动机与目标

• 开发一种无监督方法，用于在深度神经网络中学习分层稀疏表征。
• 在全连接自编码器设置下，通过小批量统计信息在隐藏单元上强制执行生命周期稀疏性。
• 将WTA方法扩展至卷积架构，以学习平移不变的稀疏特征。
• 使用胜者通吃激活函数在每个特征图内实现空间稀疏性。
• 通过分层训练深度自编码器，同时保持稀疏性并实现具有竞争力的下游分类性能。

提出的方法

• 该方法引入了一种胜者通吃激活函数，仅选择每个特征图中的前k个激活值，从而强制实现空间稀疏性。
• 通过小批量统计信息强制实现生命周期稀疏性，以约束训练批次中隐藏单元的平均激活值。
• 自编码器以贪婪的、分层的方式进行训练，每一层学习输入的稀疏表征。
• 使用卷积层以捕捉所学特征中的空间层次结构和平移不变性。
• WTA机制确保每个局部感受野中仅最活跃的神经元被激活，从而促进稀疏且分布式的表征。
• 训练目标结合了重建损失与基于小批量统计信息和WTA激活规则推导出的稀疏性约束。

实验结果

研究问题

• RQ1 胜者通吃机制是否能有效在深度自编码器中同时强制实现生命周期稀疏性和空间稀疏性？
• RQ2 基于WTA的自编码器在无监督方式下能否有效学习分层、平移不变的表征？
• RQ3 WTA自编码器在MNIST和CIFAR-10等标准基准数据集上的性能如何？
• RQ4 结合WTA的分层训练策略是否能在无监督条件下产生具有竞争力的分类结果？
• RQ5 小批量统计信息与WTA激活函数的结合如何提升表征学习性能？

主要发现

• 所提出的WTA自编码器在MNIST、CIFAR-10、ImageNet、Street View House Numbers和Toronto Face数据集上实现了具有竞争力的分类性能。
• 该方法通过无监督预训练成功学习到深度、分层且平移不变的稀疏表征。
• 通过胜者通吃激活函数，有效在每个特征图内实现了空间稀疏性。
• 通过小批量统计信息在隐藏单元上维持了生命周期稀疏性，提升了泛化能力和效率。
• 分层训练流程实现了深层稀疏特征的稳定且可扩展的学习。
• 尽管在预训练阶段缺乏显式监督，该模型仍表现出强大的性能。