[论文解读] Assessing four Neural Networks on Handwritten Digit Recognition Dataset (MNIST)

Feiyang Chen, Nan Chen+2 more|arXiv (Cornell University)|Nov 16, 2018

Handwritten Text Recognition Techniques参考文献 8被引用 38

一句话总结

该论文在 MNIST 手写数字数据集上评估了四种神经网络架构——CNN、ResNet、DenseNet 和一种 CapsNet 增强的 CNN——在多个数据划分（25%、50%、75%、100%）下的表现。所提出的 CapsNet 模型在完整数据集上实现了 99.75% 的最高准确率，并展现出优越的泛化能力，即使仅使用 25% 的训练数据也优于所有基线模型，凸显其在图像识别任务中的数据效率和鲁棒性。

ABSTRACT

Although the image recognition has been a research topic for many years, many researchers still have a keen interest in it[1]. In some papers[2][3][4], however, there is a tendency to compare models only on one or two datasets, either because of time restraints or because the model is tailored to a specific task. Accordingly, it is hard to understand how well a certain model generalizes across image recognition field[6]. In this paper, we compare four neural networks on MNIST dataset[5] with different division. Among them, three are Convolutional Neural Networks (CNN)[7], Deep Residual Network (ResNet)[2] and Dense Convolutional Network (DenseNet)[3] respectively, and the other is our improvement on CNN baseline through introducing Capsule Network (CapsNet)[1] to image recognition area. We show that the previous models despite do a quite good job in this area, our retrofitting can be applied to get a better performance. The result obtained by CapsNet is an accuracy rate of 99.75\%, and it is the best result published so far. Another inspiring result is that CapsNet only needs a small amount of data to get excellent performance. Finally, we will apply CapsNet's ability to generalize in other image recognition field in the future.

研究动机与目标

• 评估四种神经网络模型——CNN、ResNet、DenseNet 和一种 CapsNet 增强的 CNN——在 MNIST 数据集多个数据划分下的泛化性能。
• 探究 CapsNet（一种强调空间关系和动态路由的新型架构）是否能在图像识别任务中超越标准 CNN 及其他深度学习模型。
• 通过在缩减的训练集（25%、50%、75%、100%）上测试性能，评估 CapsNet 的数据效率。
• 确定 CapsNet 的架构创新是否能带来更好的泛化能力和鲁棒性，特别是在低数据条件下。

提出的方法

• 作者训练并评估了四种模型：标准 CNN、ResNet、DenseNet，以及一种集成了 CapsNet 以提升特征表示的改进型 CNN。
• 将 MNIST 数据集划分为 25%、50%、75% 和 100% 的训练子集，以评估不同数据可用性下的模型性能。
• CapsNet 在胶囊之间采用动态路由，其中路由权重根据预测与实际输出的一致性进行更新，并使用挤压激活函数以保留向量的大小。
• CapsNet 架构包括一个卷积层（256 个滤波器，9×9，步长 1）、一个 PrimaryCaps 层（32 个胶囊，每个胶囊包含 8×9×9×256 个内核，步长 2），以及一个 DigitCaps 层（10 个胶囊，每个数字类别一个）。
• 对胶囊输出应用挤压激活函数：$ v_j = \frac{||s_j||^2}{1+||s_j||^2} \cdot \frac{s_j}{||s_j||} $，以确保活动向量能表示注意力和空间关系。
• 通过在每个数据划分的测试集上测量分类准确率来评估性能，并在不同模型之间进行比较。

实验结果

研究问题

• RQ1 CapsNet 在所有数据划分下是否在 MNIST 数据集上实现了高于标准 CNN、ResNet 和 DenseNet 的准确率？
• RQ2 当仅使用 MNIST 训练数据的 25% 时，CapsNet 的性能与基线模型相比如何？
• RQ3 CapsNet 的架构设计在多大程度上实现了更好的泛化能力和鲁棒性？
• RQ4 CapsNet 是否能以远少于传统 CNN 所需的训练数据量，仍保持高性能？

主要发现

• 在完整 MNIST 数据集上，CapsNet 达到了 99.75% 的最高测试准确率，优于 CNN（98.32%）、ResNet（99.16%）和 DenseNet（99.37%）。
• 在 25% 数据划分下，CapsNet 达到 87.68% 的准确率，超过完整数据下的 CNN 基线（80.73%），展现出强大的数据效率。
• CapsNet 在所有数据划分中均持续优于其他所有模型，表明其具备更优的泛化能力。
• 仅使用 50% 的训练数据时，CapsNet 的准确率达到 97.12%，已接近标准 CNN 在完整数据下的性能。
• 结果表明，CapsNet 的动态路由和基于向量的表示方式可减少信息损失，并提升对输入变化的鲁棒性。
• CapsNet 在小样本数据集上的表现表明其在图像识别任务中具有低数据机器学习应用的潜力。