[论文解读] Latent Model Ensemble with Auto-localization

Miao Sun, Tony Xiao Han+3 more|arXiv (Cornell University)|Apr 15, 2016

Advanced Neural Network Applications参考文献 28被引用 6

一句话总结

该论文提出了一种潜在CNN框架，可自动识别并聚焦于最具判别性的图像区域作为潜在变量，通过减少无关背景区域的干扰，提升了分类准确率。通过将全局CNN与基于部件的潜在CNN通过一种新颖的潜在模型集成方法相结合，该方法在CIFAR-10、CIFAR-100、MNIST和PASCAL VOC 2007上均取得了最先进性能，错误率分别为8.13%、32.31%、0.42%和15.4%。

ABSTRACT

Deep Convolutional Neural Networks (CNN) have exhibited superior performance in many visual recognition tasks including image classification, object detection, and scene label- ing, due to their large learning capacity and resistance to overfit. For the image classification task, most of the current deep CNN- based approaches take the whole size-normalized image as input and have achieved quite promising results. Compared with the previously dominating approaches based on feature extraction, pooling, and classification, the deep CNN-based approaches mainly rely on the learning capability of deep CNN to achieve superior results: the burden of minimizing intra-class variation while maximizing inter-class difference is entirely dependent on the implicit feature learning component of deep CNN; we rely upon the implicitly learned filters and pooling component to select the discriminative regions, which correspond to the activated neurons. However, if the irrelevant regions constitute a large portion of the image of interest, the classification performance of the deep CNN, which takes the whole image as input, can be heavily affected. To solve this issue, we propose a novel latent CNN framework, which treats the most discriminate region as a latent variable. We can jointly learn the global CNN with the latent CNN to avoid the aforementioned big irrelevant region issue, and our experimental results show the evident advantage of the proposed latent CNN over traditional deep CNN: latent CNN outperforms the state-of-the-art performance of deep CNN on standard benchmark datasets including the CIFAR-10, CIFAR- 100, MNIST and PASCAL VOC 2007 Classification dataset.

研究动机与目标

• 解决由于图像中存在大面积无关背景区域导致深度CNN性能下降的问题。
• 开发一种将最具判别性的图像区域视为潜在变量的框架，以改善特征学习。
• 提出一种新型集成方法——潜在模型集成，以比标准平均法更有效地结合全局与基于部件的CNN预测结果。
• 在CIFAR-10、CIFAR-100、MNIST和PASCAL VOC 2007等标准基准上实现最先进性能。

提出的方法

• 该框架使用一个处理整幅图像的全局CNN，以及一个处理多个裁剪补丁的基于部件的CNN，以识别最具判别性的区域。
• 采用潜在SVM对基于部件的检测进行建模，其中激活值最高的补丁（即最具判别性的区域）被选为潜在变量。
• 潜在模型集成通过一种融合策略，结合来自全局CNN和最佳局部补丁的预测结果，以提升泛化能力。
• 使用随机梯度下降训练多分类潜在SVM，从而实现对潜在区域选择与分类的端到端优化。
• 该方法采用NIN（网络中网络）架构，包含mlpconv层、全局平均池化和Dropout，用于深层特征提取。
• 对每幅图像提取10个随机补丁；通过算法2将最佳补丁的响应与全局图像响应进行融合。

实验结果

研究问题

• RQ1 聚焦于最具判别性的图像区域而非整幅图像，是否能够提升深度CNN在视觉分类任务上的性能？
• RQ2 基于潜在变量的CNN框架与标准全局CNN相比，在处理具有大面积无关背景区域的图像时表现如何？
• RQ3 一种结合全局与基于部件CNN预测的新型集成方法，是否能够优于传统的平均法或投票策略？
• RQ4 所提出的潜在模型集成方法是否在CIFAR-10、CIFAR-100、MNIST和PASCAL VOC 2007等标准基准上达到最先进性能？

主要发现

• 所提出的2CNN-latent方法在CIFAR-10上取得了8.13%的测试错误率，相比NIN基线提升了0.68个百分点。
• 在CIFAR-100上，该方法实现了32.31%的错误率，相比NIN基线提升了2.0个百分点。
• 在MNIST上，该方法实现了0.42%的错误率，相比NIN基线提升了0.05个百分点。
• 潜在模型集成在所有数据集上均显著优于标准平均法（2CNN-average），证明了融合策略的有效性。
• 该方法在PASCAL VOC 2007上实现了15.4%的错误率，表明其在具有多标签和复杂背景的复杂真实图像上具备强大的泛化能力。
• 消融实验表明，潜在CNN框架能有效减少无关区域的干扰，尤其在对象较小或被遮挡的图像（如“potted plant”和“boat+person”）中表现更优。