[论文解读] An Ensemble of Simple Convolutional Neural Network Models for MNIST Digit Recognition

Sanghyeon An, Min Jun Lee+3 more|arXiv (Cornell University)|Aug 12, 2020

Advanced Neural Network Applications参考文献 19被引用 47

一句话总结

论文表明，采用带批量归一化和数据增强的简单CNN也可在MNIST测试集达到非常高的准确率（高达99.91%），并且集成模型（包括异质集合）能进一步提高性能。

ABSTRACT

We report that a very high accuracy on the MNIST test set can be achieved by using simple convolutional neural network (CNN) models. We use three different models with 3x3, 5x5, and 7x7 kernel size in the convolution layers. Each model consists of a set of convolution layers followed by a single fully connected layer. Every convolution layer uses batch normalization and ReLU activation, and pooling is not used. Rotation and translation is used to augment training data, which is frequently used in most image classification tasks. A majority voting using the three models independently trained on the training data set can achieve up to 99.87% accuracy on the test set, which is one of the state-of-the-art results. A two-layer ensemble, a heterogeneous ensemble of three homogeneous ensemble networks, can achieve up to 99.91% test accuracy. The results can be reproduced by using the code at: https://github.com/ansh941/MnistSimpleCNN

研究动机与目标

• 证明简单的 CNN 架构在不使用复杂模型或过度调参的情况下也能实现非常高的 MNIST 准确率。
• 研究卷积核大小、数据增强、批归一化和网络集成对 MNIST 性能的影响。
• 探索同质和异质集成策略以提高 MNIST 的测试准确率。

提出的方法

• 构建三种卷积核为 3x3、5x5 和 7x7 的 CNN，每个网络以单一全连接层结尾。
• 不使用池化；在每次卷积后使用批归一化和 ReLU；不使用 dropout。
• 使用随机平移（最多 20% 位移）和随机旋转（最多 20 度）进行训练；将输入转换为 [-1, 1]。
• 用 Adam 在交叉熵损失上进行优化；学习率起始为 0.001，并进行指数衰减（gamma=0.98）。
• 在评估中使用权重的指数滑动平均（衰减 0.999）。
• 测试多个种子（每种类型 30 个网络）并对集成采用多数表决；评估同质（相同核类型）和异质（混合核类型）集成。

实验结果

研究问题

• RQ1 带有批归一化和最小池化的简单 CNN 能否与最先进的 MNIST 结果竞争？
• RQ2 对多个 CNN 的集成是否能够提升 MNIST 的准确性，且异质集成是否比同质集成更有效？
• RQ3 卷积核大小、数据增强和批归一化对 MNIST 性能有何影响？

主要发现

模型	测试准确率	最小	平均	最大	最佳
M3	99.5930 ± 0.0136	99.6949 ± 0.0058	99.7667 ± 0.0084	99.82	99.82
M5	99.5863 ± 0.0115	99.6835 ± 0.0074	99.7583 ± 0.0081	99.80	99.80
M7	99.5470 ± 0.0288	99.6711 ± 0.0089	99.7450 ± 0.0093	99.79	99.79

• 单独的网络（M3、M5、M7）在不同种子下的测试准确率高，约在 99.59%–99.76% 之间。
• 同质集成（同一类型的三网络）比单网络的准确性更高，例如 M3、M5、M7 的最佳值分别约为 99.86%。
• 异质集成（每种类型各一个网络）达到更高的准确率，为 99.87%，高于同质集成。
• 两级集成（由 3 个同质集成组成的集成）最高可达 99.91%。
• 数据增强（旋转和平移）稳定地提升性能；旋转的影响略大于平移，且两者都有益。
• 对所有层使用批归一化提供最佳性能，所有层级的 BN 表现优于其他配置。