[论文解读] Evaluating Generalization Ability of Convolutional Neural Networks and Capsule Networks for Image Classification via Top-2 Classification

Hao Ren, Jianlin Su+1 more|arXiv (Cornell University)|Jan 29, 2019

Advanced Neural Network Applications参考文献 25被引用 11

一句话总结

本文提出Top-2分类这一新型评估任务，通过在随机拼接的双类别图像上预测前两个标签来测试模型的泛化能力。该工作引入参数共享胶囊层（PS CapsNet），在显著提升准确率的同时减少参数量，其性能优于CNN和全连接胶囊网络（FC CapsNets），展现出更优的泛化能力。此外，新提出的可视化方法ProbAM进一步表明，PS CapsNets能聚焦于相关物体，而CNN和FC CapsNets则不能。

ABSTRACT

Image classification is a challenging problem which aims to identify the category of object in the image. In recent years, deep Convolutional Neural Networks (CNNs) have been applied to handle this task, and impressive improvement has been achieved. However, some research showed the output of CNNs can be easily altered by adding relatively small perturbations to the input image, such as modifying few pixels. Recently, Capsule Networks (CapsNets) are proposed, which can help eliminating this limitation. Experiments on MNIST dataset revealed that capsules can better characterize the features of object than CNNs. But it's hard to find a suitable quantitative method to compare the generalization ability of CNNs and CapsNets. In this paper, we propose a new image classification task called Top-2 classification to evaluate the generalization ability of CNNs and CapsNets. The models are trained on single label image samples same as the traditional image classification task. But in the test stage, we randomly concatenate two test image samples which contain different labels, and then use the trained models to predict the top-2 labels on the unseen newly-created two label image samples. This task can provide us precise quantitative results to compare the generalization ability of CNNs and CapsNets. Back to the CapsNet, because it uses Full Connectivity (FC) mechanism among all capsules, it requires many parameters. To reduce the number of parameters, we introduce the Parameter-Sharing (PS) mechanism between capsules. Experiments on five widely used benchmark image datasets demonstrate the method significantly reduces the number of parameters, without losing the effectiveness of extracting features. Further, on the Top-2 classification task, the proposed PS CapsNets obtain impressive higher accuracy compared to the traditional CNNs and FC CapsNets by a large margin.

研究动机与目标

• 为解决现有方法在定量比较CNN与CapsNet泛化能力方面的不足。
• 开发一种比标准单标签图像分类更有效的评估协议，以评估模型的鲁棒性与泛化能力。
• 在保持或提升特征表示能力的前提下，降低传统CapsNets中过高的参数数量。
• 提供直观的可视化工具，以理解CapsNets在推理过程中如何聚焦于图像的相关部分。
• 验证CapsNets在复杂、未见的多物体输入下，其泛化能力优于CNN

提出的方法

• 提出Top-2分类：在单标签图像上进行训练，但在随机拼接的、标签不同的双图像样本上进行测试。
• 在胶囊之间引入参数共享（PS）机制，以减少胶囊层中的参数数量。
• 设计一种使用PS胶囊层而非全连接胶囊层的PS CapsNet模型。
• 开发基于概率引导的激活映射（ProbAM），一种可视化技术，根据预测概率突出显示胶囊最关注的图像区域。
• 对CNN使用Grad-CAM，对CapsNets使用ProbAM，以实现注意力机制的对比可视化。
• 在五个基准数据集（包括STL-10、CIFAR-10等）上训练模型，并在Top-2分类任务上评估性能。

实验结果

研究问题

• RQ1 Top-2分类能否作为比标准图像分类更有效的定量基准，用于评估模型的泛化能力？
• RQ2 所提出的PS CapsNet在多物体图像输入上是否表现出优于标准CNN和FC CapsNets的泛化能力？
• RQ3 在分类复杂、未见的双物体图像时，CapsNets的注意力模式与CNN有何不同？
• RQ4 ProbAM可视化方法在多大程度上能揭示CapsNets中具有意义且可解释的注意力区域？
• RQ5 胶囊层中的参数共享是否能在不牺牲性能或泛化能力的前提下降低模型复杂度？

主要发现

• 在五个基准数据集上，PS CapsNets在Top-2分类任务中的准确率显著高于CNN和FC CapsNets，证明其具备更优的泛化能力。
• 在STL-10数据集上，PS CapsNets在单标签图像上达到75.36%的测试准确率，并在双标签图像上保持了强劲性能，表明其具备有效的特征学习能力。
• ProbAM可视化结果显示，PS CapsNets能正确聚焦于双标签图像中的两个物体，而CNN无法区分物体与背景，FC CapsNets仅聚焦于一个物体。
• 所有模型（CNN、FC CapsNets、PS CapsNets）的第一卷积层均学会检测物体轮廓并抑制背景噪声，这与人类视觉处理原理一致。
• 与全连接胶囊层相比，PS胶囊层显著减少了参数数量，提升了模型效率，且未影响性能。
• ProbAM的定性结果证实，PS CapsNets在多物体场景下学习到了比CNN和FC CapsNets更鲁棒、更具语义意义的表征。