[论文解读] Competitive Multi-scale Convolution

Zhibin Liao, Gustavo Carneiro|arXiv (Cornell University)|Nov 18, 2015

Advanced Neural Network Applications参考文献 29被引用 40

一句话总结

本文提出了一种竞争性多尺度卷积模块，用基于maxout的竞争池化单元替代Inception模块中的多尺度滤波器拼接操作，从而减少共适应性并降低维度，同时实现子网络专业化。该方法通过滤波器之间的确定性竞争促进鲁棒且正则化的学习，在MNIST、CIFAR-10、CIFAR-100和SVHN数据集上取得了最先进或具有竞争力的结果。

ABSTRACT

In this paper, we introduce a new deep convolutional neural network (ConvNet) module that promotes competition among a set of multi-scale convolutional filters. This new module is inspired by the inception module, where we replace the original collaborative pooling stage (consisting of a concatenation of the multi-scale filter outputs) by a competitive pooling represented by a maxout activation unit. This extension has the following two objectives: 1) the selection of the maximum response among the multi-scale filters prevents filter co-adaptation and allows the formation of multiple sub-networks within the same model, which has been shown to facilitate the training of complex learning problems; and 2) the maxout unit reduces the dimensionality of the outputs from the multi-scale filters. We show that the use of our proposed module in typical deep ConvNets produces classification results that are either better than or comparable to the state of the art on the following benchmark datasets: MNIST, CIFAR-10, CIFAR-100 and SVHN.

研究动机与目标

• 通过在多尺度卷积滤波器之间引入竞争，解决深度卷积神经网络中的滤波器共适应问题。
• 通过竞争激活实现子网络专业化，提升模型泛化能力和训练效率。
• 通过用maxout-based降维替代拼接操作，减少模型参数量。
• 通过竞争性多尺度卷积模块提升在基准数据集（MNIST、CIFAR-10、CIFAR-100、SVHN）上的性能。
• 验证在卷积层中使用确定性掩码相较于随机方法的有效性。

提出的方法

• 所提出的模块并行应用多个多尺度卷积滤波器于输入特征图。
• 使用批归一化单元（BNUs）对每个滤波器的输出进行归一化，以平衡尺度并预处理模型。
• 将归一化后的输出送入maxout单元，该单元在所有尺度中选择最大激活值，强制实现竞争。
• 这种竞争池化操作降低了输出维度，并通过仅保留最敏感的滤波器来防止共适应。
• 该模块被集成到标准深度卷积神经网络架构中，替代标准的Inception模块。
• 该方法通过maxout实现确定性掩码，避免在卷积层中使用随机dropout或DropConnect。

实验结果

研究问题

• RQ1 在多尺度卷积模块中，用竞争池化替代拼接操作是否能提升泛化能力并减少共适应？
• RQ2 在多尺度滤波器中使用maxout是否能带来优于标准Inception模块的性能？
• RQ3 在卷积层中，确定性竞争与随机正则化方法（如DropConnect）相比表现如何？
• RQ4 所提出的模块是否能在标准视觉基准数据集上实现最先进性能？
• RQ5 增加竞争模块中的滤波器尺寸或数量是否能提升准确率，或仅导致参数量增加而无益处？

主要发现

• 竞争性多尺度卷积模块在MNIST上实现了0.29%的测试误差，优于当前最先进方法。
• 在CIFAR-10上，该方法实现了1.69%的测试误差，是所有测试方法中的最佳结果。
• 在SVHN上，该方法实现了1.69%的测试误差，达到或超越了当前最先进性能。
• 通过基于maxout的降维，模型减少了参数量，同时保持或提升了准确率。
• 实验表明，通过maxout实现的确定性掩码在卷积层中优于DropConnect等随机方法，避免了灾难性遗忘。
• 增加滤波器尺寸或数量并未提升性能，反而增加了参数量而无益处，证实了所提设计的高效性。