[论文解读] Large-Scale Feature Learning With Spike-and-Slab Sparse Coding

Ian Goodfellow, Aaron Courville+1 more|arXiv (Cornell University)|Jun 27, 2012

Domain Adaptation and Few-Shot Learning参考文献 25被引用 48

一句话总结

本文提出Spike-and-Slab稀疏编码（S3C），一种用于大规模图像识别（含数千类别）的可扩展特征学习方法。通过设计GPU优化的推理过程，作者实现了在大规模数据集和高维潜在空间上的训练，使S3C在CIFAR-10和CIFAR-100上达到最先进性能，并赢得NIPS 2011迁移学习挑战赛。

ABSTRACT

We consider the problem of object recognition with a large number of classes. In order to overcome the low amount of labeled examples available in this setting, we introduce a new feature learning and extraction procedure based on a factor model we call spike-and-slab sparse coding (S3C). Prior work on S3C has not prioritized the ability to exploit parallel architectures and scale S3C to the enormous problem sizes needed for object recognition. We present a novel inference procedure for appropriate for use with GPUs which allows us to dramatically increase both the training set size and the amount of latent factors that S3C may be trained with. We demonstrate that this approach improves upon the supervised learning capabilities of both sparse coding and the spike-and-slab Restricted Boltzmann Machine (ssRBM) on the CIFAR-10 dataset. We use the CIFAR-100 dataset to demonstrate that our method scales to large numbers of classes better than previous methods. Finally, we use our method to win the NIPS 2011 Workshop on Challenges In Learning Hierarchical Models? Transfer Learning Challenge.

研究动机与目标

• 解决大规模图像识别中数千类别下标注数据有限的挑战。
• 克服以往Spike-and-Slab稀疏编码方法在可扩展性方面的局限，这些方法未针对大规模训练设计。
• 开发一种与并行架构（如GPU）兼容的高效推理过程，使S3C可扩展至大规模数据集和高维因子空间。
• 在基准数据集上，证明S3C在监督特征学习方面优于稀疏编码和ssRBM。
• 在大规模分类任务（包括CIFAR-100数据集和一个真实世界的迁移学习挑战）中验证该方法的可扩展性和有效性。

提出的方法

• 提出一种名为Spike-and-Slab稀疏编码（S3C）的因子模型，通过二值‘脉冲’变量和连续‘托盘’变量联合建模稀疏且结构化的特征。
• 设计一种专为GPU加速优化的新颖推理算法，实现对大规模训练集和高维潜在空间的高效优化。
• 采用均值场变分推理方法近似潜在变量的后验分布，实现可扩展学习。
• 将S3C模型整合至监督学习流程中，提取特征并用于分类。
• 使用小批量随机梯度下降优化模型，以高效处理大规模数据。
• 利用Spike-and-Slab先验的稀疏诱导特性，从未标注数据中学习解耦且有意义的特征。

实验结果

研究问题

• RQ1 能否通过现代并行硬件将Spike-and-Slab稀疏编码扩展至大规模数据集和高维潜在因子？
• RQ2 在基准数据集上，S3C与传统稀疏编码和ssRBM相比，在监督分类性能上表现如何？
• RQ3 S3C在大规模识别任务（如CIFAR-100）中是否具有良好泛化能力？
• RQ4 S3C在标注数据有限的迁移学习场景中是否能有效应用？
• RQ5 GPU优化推理对S3C训练速度和模型容量有何影响？

主要发现

• 所提出的GPU优化推理流程使S3C能够训练在比以往更大规模的数据集上，并支持更多潜在因子。
• 在CIFAR-10数据集上，S3C的监督分类性能优于标准稀疏编码和Spike-and-Slab RBM。
• 在CIFAR-100数据集上，S3C在可扩展性和性能方面优于以往方法，尤其在处理大量类别时表现突出。
• 该方法在NIPS 2011“层次模型学习挑战：迁移学习”研讨会上取得最先进结果。
• 与标准稀疏编码相比，Spike-and-Slab先验可生成更具可解释性和解耦的特征。
• 通过在大规模数据上训练，验证了S3C的可扩展性，性能提升与模型容量和数据规模的增加直接相关。