[论文解读] Neural Simpletrons - Minimalistic Directed Generative Networks for Learning with Few Labels

Dennis Forster, Abdul-Saboor Sheikh+1 more|arXiv (Cornell University)|Jun 28, 2015

Music and Audio Processing参考文献 49被引用 7

一句话总结

该论文提出 Neural Simpletrons，一种极简的深度有向生成网络，通过使用归一化的泊松混合模型，实现了在仅有少量标签的半监督学习中端到端的似然优化。该方法在 MNIST 和 NIST 基准测试中达到最先进性能，仅需 4–5 个可调超参数，即使在极低标签设置下（此前无任何系统能成功运行）也优于复杂的混合模型。

ABSTRACT

Classifiers for the semi-supervised setting often combine strong supervised models with additional learning objectives to make use of unlabeled data. This results in powerful though very complex models that are hard to train and that demand additional labels for optimal parameter tuning, which are often not given when labeled data is very sparse. We here study a minimalistic multi-layer generative neural network for semi-supervised learning in a form and setting as similar to standard discriminative networks as possible. Based on normalized Poisson mixtures, we derive compact and local learning and neural activation rules. Learning and inference in the network can be scaled using standard deep learning tools for parallelized GPU implementation. With the single objective of likelihood optimization, both labeled and unlabeled data are naturally incorporated into learning. Empirical evaluations on standard benchmarks show, that for datasets with few labels the derived minimalistic network improves on all classical deep learning approaches and is competitive with their recent variants without the need of additional labels for parameter tuning. Furthermore, we find that the studied network is the best performing monolithic (`non-hybrid') system for few labels, and that it can be applied in the limit of very few labels, where no other system has been reported to operate so far.

研究动机与目标

• 解决在真实应用场景中标签数据极度稀缺时训练深度神经网络的挑战。
• 开发一种统一的、非混合的生成模型，避免现有半监督方法中常见的复杂超参数调优所需额外标签。
• 利用标准深度学习工具，在大规模数据集上实现可扩展的、并行化的训练，即使隐藏单元多达 20,000 个亦可。
• 设计一种具有紧凑、局部学习与推理规则的模型，兼容如 VLSI 等生物启发式硬件。
• 在标签数量极少的极限情况下展示鲁棒性能，而现有方法在此类场景下失效或未被评估。

提出的方法

• 提出一种基于归一化泊松混合模型的分层混合模型，用于在深度有向图结构中建模类条件数据分布。
• 推导出紧凑、局部的学习与激活规则，其数学形式等价于反向传播，但源自生成模型中的似然最大化。
• 仅使用单一目标——似然优化——联合训练有标签与无标签数据，无需辅助损失函数或混合训练方案。
• 使用标准深度学习框架实现网络，以支持 GPU 加速的并行训练与推理。
• 引入一组极简的超参数：中间层单元数（C）、输入归一化（A）、权重学习率（ε[W]）和偏置学习率（ε[R]），以及某些变体中用于稀疏性的 BvSB 阈值（ϑ）。
• 在 MNIST 和 NIST 数据集上应用该模型进行图像分类任务，评估不同标签预算下的性能表现。

实验结果

研究问题

• RQ1 一个极简的、统一的生成神经网络是否能在仅有少量有标签样本的情况下实现半监督学习的最先进性能？
• RQ2 单一目标的似然优化框架是否优于结合监督与无监督目标的复杂混合模型？
• RQ3 该模型是否能在标签数据稀缺的情况下，通过极少的超参数调优实现有效训练？
• RQ4 纯粹的生成性、非混合的深度网络在极端低标签设置下的性能极限是什么？
• RQ5 该模型是否能利用标准深度学习工具，扩展至大规模架构（如 20,000 个隐藏单元）和大规模数据集（如 400,000 个样本）？

主要发现

• 当仅有 10 个有标签样本时，Neural Simpletrons 在 MNIST 和 NIST 数据集上优于所有经典深度学习模型，平均测试误差为 9.84%。
• 在完整的 MNIST 数据集（60,000 个标签）上，该模型实现了 4.52% 的测试误差，尽管仅使用 4–5 个超参数，其性能仍与最先进方法具有竞争力。
• 该模型在极端低标签极限下依然有效：在 NIST 数字数据集中仅使用 52 个有标签样本时，测试误差为 55.70%，优于该设置下所有其他方法。
• 在 NIST 字母任务中，该模型在使用 387,361 个标签时实现了 31.93% 的测试误差，优于所有基线模型，包括复杂的 VAT 和 Ladder 模型。
• 在极少数标签设置下，该模型是表现最佳的统一系统，此前无任何系统在 100 个标签以下成功运行。
• 该方法仅需 4–5 个可调超参数，显著少于竞争模型（如 Ladder 需 18 个，VAT 需 ≥12 个），即使在标签数据极少时也能实现有效调优。