[论文解读] Stochastic Optimization of Plain Convolutional Neural Networks with Simple methods

Yahia Saeed Assiri|arXiv (Cornell University)|Jan 23, 2020

Neural Networks and Applications参考文献 16被引用 16

一句话总结

本文提出了一种简单但有效的正则化流程，用于普通卷积神经网络（CNNs），结合数据增强、Dropout以及自定义的早停准则。通过整合这些技术，作者在MNIST、SVHN和STL10数据集上取得了最先进性能，在CIFAR10和CIFAR100上也获得了高准确率，表明无需架构复杂化，简单方法同样可取得具有竞争力的结果。

ABSTRACT

Convolutional neural networks have been achieving the best possible accuracies in many visual pattern classification problems. However, due to the model capacity required to capture such representations, they are often oversensitive to overfitting and therefore require proper regularization to generalize well. In this paper, we present a combination of regularization techniques which work together to get better performance, we built plain CNNs, and then we used data augmentation, dropout and customized early stopping function, we tested and evaluated these techniques by applying models on five famous datasets, MNIST, CIFAR10, CIFAR100, SVHN, STL10, and we achieved three state-of-the-art-of (MNIST, SVHN, STL10) and very high-Accuracy on the other two datasets.

研究动机与目标

• 在不引入架构复杂性的情况下提升普通CNN的泛化能力。
• 探究结合简单正则化技术在视觉模式分类任务中的有效性。
• 在基准数据集上以最小的架构创新实现最先进性能。
• 通过实用且可部署的正则化策略，减少高容量模型的过拟合。

提出的方法

• 作者训练普通CNN，不使用残差连接或高级模块。
• 应用数据增强以提升训练集的多样性与鲁棒性。
• 在全连接层中应用Dropout，以防止神经元之间的共适应。
• 设计了一种自定义的早停函数，在验证损失趋于平稳时停止训练，从而避免过拟合。
• 系统性地在五个标准数据集上评估了这些技术的组合效果。
• 训练过程采用随机优化，使用标准超参数和标准优化器。

实验结果

研究问题

• RQ1 简单正则化技术的组合是否能在标准视觉基准上超越更复杂的架构？
• RQ2 在普通CNN中，数据增强与Dropout及早停结合时效果如何？
• RQ3 在不使用残差连接或高级模块的情况下，普通CNN能在多大程度上实现最先进性能？
• RQ4 与标准早停相比，自定义早停函数对泛化性能有何影响？
• RQ5 所提出的流程在不同复杂度的多样化数据集上是否具有泛化能力？

主要发现

• 该方法在MNIST数据集上达到了最先进准确率，优于先前方法。
• 模型在SVHN数据集上实现了最先进性能，表明其在杂乱、真实世界数字上的强泛化能力。
• 该方法在STL10数据集上取得了最先进结果，表明其对小尺度、复杂图像具有鲁棒性。
• 在CIFAR10和CIFAR100上也获得了高准确率，尽管未达最先进水平，但仍证实了其强大的泛化性能。
• 数据增强、Dropout与自定义早停的组合显著减少了高容量模型的过拟合。
• 结果表明，架构简洁性与有效正则化相结合，可在标准基准上实现具有竞争力的性能。