[论文解读] Improved Regularization of Convolutional Neural Networks with Cutout

Terrance DeVries, Graham W. Taylor|arXiv (Cornell University)|Aug 15, 2017

Advanced Neural Network Applications参考文献 19被引用 2,718

一句话总结

Cutout 在训练过程中随机对输入图像的方形区域进行遮罩，以提升 CNN 正则化，并在结合其他增强和正则化时，在 CIFAR-10、CIFAR-100 和 SVHN 上取得新的 state-of-the-art 结果。

ABSTRACT

Convolutional neural networks are capable of learning powerful representational spaces, which are necessary for tackling complex learning tasks. However, due to the model capacity required to capture such representations, they are often susceptible to overfitting and therefore require proper regularization in order to generalize well. In this paper, we show that the simple regularization technique of randomly masking out square regions of input during training, which we call cutout, can be used to improve the robustness and overall performance of convolutional neural networks. Not only is this method extremely easy to implement, but we also demonstrate that it can be used in conjunction with existing forms of data augmentation and other regularizers to further improve model performance. We evaluate this method by applying it to current state-of-the-art architectures on the CIFAR-10, CIFAR-100, and SVHN datasets, yielding new state-of-the-art results of 2.56%, 15.20%, and 1.30% test error respectively. Code is available at https://github.com/uoguelph-mlrg/Cutout

研究动机与目标

• 提出一种简单的正则化技术，以提升卷积神经网络的泛化能力。
• 探讨在不同数据集和架构中，随机对输入区域进行零值掩蔽（cutout）的有效性。
• 评估 cutout 与现有数据增强和正则化方法的兼容性。
• 提供在 CIFAR-10、CIFAR-100、SVHN 与 STL-10 上的性能提升的实证结果。

提出的方法

• 在训练时，将每个输入的随机位置覆盖一个固定大小的方形区域，作为 cutout 引入。
• 在输入空间应用零掩蔽，测试时不进行重新缩放。
• 将数据归一化为零均值，以提高 cutout 的稳定性。
• 对 cutout 大小进行网格搜索，使用验证子集来确定最佳补丁大小。
• 在 CIFAR-10、CIFAR-100、SVHN 和 STL-10 上使用 ResNet18、WideResNet 和 shake-shake 模型评估 cutout。
• 将 cutout 与标准数据增强和批量归一化结合使用。

实验结果

研究问题

• RQ1 随机 cutout 是否在超越标准数据增强和 dropout 的情况下改善 CNN 的泛化能力？
• RQ2 cutout 如何与如 ResNet 和 WRN 的现代架构以及最先进的正则化方法（如 shake-shake）相互作用？
• RQ3 cutout 补丁大小对在具有不同类别数和分辨率的数据集上的性能影响如何？

主要发现

• 在 ResNet18 和 WideResNet 上，Cutout 将 CIFAR-10 和 CIFAR-100 的测试准确率提升了 0.4–2.0 个点。
• Cutout 结合 shake-shake 正则化达到新的最先进结果：CIFAR-10 为 2.56%，CIFAR-100 为 15.20%。
• 在 SVHN 上 WideResNet-16-8 的测试误差为 1.30%。
• 对于 STL-10，cutout 将无增强的错误率从 23.48% 降低到 20.77%，使用增强后从 14.21% 降至 12.74%。
• Cutout 倾向于增加浅层激活并扩展深层激活分布，表明更广泛的特征利用。