[论文解读] A Close Look at Deep Learning with Small Data

Lorenzo Brigato, Luca Iocchi|arXiv (Cornell University)|Mar 28, 2020

Advanced Neural Network Applications参考文献 30被引用 12

一句话总结

本文通过使用CIFAR-10、Fashion-MNIST和SVHN的子采样版本，研究了在小样本数据集上深度学习的性能表现。结果表明，当训练数据稀缺时，低复杂度CNN通常优于更大的模型架构；同时，标准数据增强技术可显著提升准确率，有时提升高达20%；此外，即使在极端小样本训练环境下，Dropout依然是一种有效的正则化方法。

ABSTRACT

In this work, we perform a wide variety of experiments with different deep learning architectures on datasets of limited size. According to our study, we show that model complexity is a critical factor when only a few samples per class are available. Differently from the literature, we show that in some configurations, the state of the art can be improved using low complexity models. For instance, in problems with scarce training samples and without data augmentation, low-complexity convolutional neural networks perform comparably well or better than state-of-the-art architectures. Moreover, we show that even standard data augmentation can boost recognition performance by large margins. This result suggests the development of more complex data generation/augmentation pipelines for cases when data is limited. Finally, we show that dropout, a widely used regularization technique, maintains its role as a good regularizer even when data is scarce. Our findings are empirically validated on the sub-sampled versions of popular CIFAR-10, Fashion-MNIST and, SVHN benchmarks.

研究动机与目标

• 研究在训练数据有限的情况下，模型复杂度对深度学习性能的影响。
• 评估在多个基准测试中，数据增强和Dropout在小样本设置下的有效性。
• 挑战在小样本场景下大模型始终更优的假设。
• 提供实证证据，表明在数据稀缺时，更简单的模型可超越当前最先进架构。
• 倡导在小样本场景中，评估新模型时不仅应与SOTA模型比较，也应与更简单、低复杂度的基线模型进行对比。

提出的方法

• 从CIFAR-10、Fashion-MNIST和SVHN中子采样训练集，以模拟每类1至128个样本的小样本训练环境。
• 训练三种CNN变体——低复杂度（CNN-lc）、中复杂度（CNN-mc）和高复杂度（CNN-hc）——并以ResNet-20作为对比基准。
• 在有无数据增强的情况下评估模型性能，采用如随机裁剪和水平翻转等标准增强策略。
• 应用Dropout作为正则化技术，并在不同训练集大小下比较性能表现。
• 使用交叉熵损失和余弦损失函数，评估损失函数在小样本设置下的影响。
• 报告结果时取10次随机运行的平均准确率，以确保统计稳健性。

实验结果

研究问题

• RQ1 在小样本图像分类任务中，模型复杂度是否显著影响性能？
• RQ2 当训练数据极度有限时，低复杂度CNN是否能超越当前最先进架构？
• RQ3 标准数据增强在使用少量训练样本时，对提升识别准确率有多有效？
• RQ4 在过拟合风险较高的小样本场景中，Dropout是否仍为有效的正则化方法？
• RQ5 在极小样本设置下，余弦损失在何种条件下优于交叉熵损失？

主要发现

• 在无数据增强且训练数据稀缺的情况下，低复杂度CNN（CNN-lc）始终优于ResNet-20和CNTK等大模型架构。
• 数据增强在所有基准测试中将测试准确率提升了高达20%，凸显其在小样本学习中的关键作用。
• 即使每类仅有16个样本，CNN-lc在子采样的CIFAR-10上仍比CNTK高出3–5%的准确率，凸显架构简洁性的优势。
• 在测试的小样本设置中，余弦损失未优于交叉熵损失，尤其在小模型上表现更差，表明其优势具有上下文依赖性。
• Dropout在小样本场景中仍保持其正则化有效性，尽管当每类样本数降至10时，其优势略有下降。
• 标准数据增强流程极为有效，应在小样本训练中被视为必备手段，尤其是在模型容量受限时。