[论文解读] Maxmin convolutional neural networks for image classification

Michaël Blot, Matthieu Cord+1 more|arXiv (Cornell University)|Oct 25, 2016

Advanced Neural Network Applications参考文献 11被引用 3

一句话总结

本文提出MaxMin-CNN，一种新颖的卷积神经网络架构，通过双激活策略同时保留高正向和高负向激活，实现特征图的倍增，从而增强特征表示。该方法在CIFAR-10上相比标准CNN最高提升4.25%，在4500万参数下达到82.98%的准确率，数据增强下达到90.03%，在不同模型规模下均表现出一致的性能提升，且对架构复杂度具有鲁棒性。

ABSTRACT

Convolutional neural networks (CNN) are widely used in computer vision, especially in image classification. However, the way in which information and invariance properties are encoded through in deep CNN architectures is still an open question. In this paper, we propose to modify the standard convo- lutional block of CNN in order to transfer more information layer after layer while keeping some invariance within the net- work. Our main idea is to exploit both positive and negative high scores obtained in the convolution maps. This behav- ior is obtained by modifying the traditional activation func- tion step before pooling. We are doubling the maps with spe- cific activations functions, called MaxMin strategy, in order to achieve our pipeline. Extensive experiments on two classical datasets, MNIST and CIFAR-10, show that our deep MaxMin convolutional net outperforms standard CNN.

研究动机与目标

• 为解决标准ReLU-based CNN中卷积后所有负值被丢弃所导致的判别性负激活信息损失问题。
• 通过显式编码强正向和强负向滤波器响应，提升深度CNN的特征表示与不变性。
• 开发一种最小化的架构修改，增强信息流而不显著增加模型复杂度。
• 证明保留负向检测可提升泛化能力，并在CIFAR-10和MNIST等标准基准上实现更高准确率。

提出的方法

• 用MaxMin策略替代标准ReLU激活，生成两个独立的特征图：一个用于正向激活（max），一个用于负向激活（min）。
• 通过分别对正负响应应用激活函数，在每个卷积层后将特征图数量加倍。
• 独立处理max和min特征图，通过后续的池化和归一化层，保持空间与判别性信息。
• 将MaxMin模块集成到标准CNN架构中，用新的双激活机制替代ReLU和池化步骤。
• 保持与基线CNN相同的网络深度和宽度，但调整滤波器数量以确保参数量相当，实现公平比较。
• 应用标准训练技术，如数据增强、ZCA白化和Dropout，进一步提升性能。

实验结果

研究问题

• RQ1 保留高正向和高负向滤波器响应是否能提升深度CNN在图像分类中的性能？
• RQ2 与基于标准ReLU激活和最大池化的方案相比，MaxMin策略是否带来更好的特征表示？
• RQ3 在参数量保持不变的情况下，MaxMin-CNN相对于标准CNN的性能表现如何？
• RQ4 MaxMin架构是否能在不使用更深或集成模型的情况下，实现CIFAR-10上的最先进性能？
• RQ5 MaxMin方法在不同模型规模和训练配置下是否具有泛化能力？

主要发现

• MaxMin-CNN在CIFAR-10上达到78.62%的准确率，相比相同架构下基线CNN的74.44%提升了4.18%。
• 在4500万参数下，MaxMin-CNN达到82.98%的准确率，超过标准CNN在相同参数量下的80.41%。
• 在所有测试的参数配置下（约3万至约4500万参数），MaxMin网络始终优于标准CNN。
• 结合数据增强、ZCA白化和Dropout后，MaxMin-CNN在CIFAR-10上达到90.03%的测试准确率，超越更深模型和集成方法。
• 该方法对架构扩展具有鲁棒性，在不同模型规模或复杂度下均保持一致的性能增益。