[论文解读] Deep Epitomic Convolutional Neural Networks

George Papandreou|arXiv (Cornell University)|Jun 10, 2014

Advanced Neural Network Applications参考文献 24被引用 7

一句话总结

本文提出了一种新型的深度学习架构——极小化卷积神经网络（epitomic convolutional neural networks），用极小化层替代标准的卷积和最大池化层，以提升对平移变换的不变性并改善性能。该方法利用极小图（mini-epitomes）实现局部、位置无关的特征匹配，在 ImageNet 上实现了 13.6% 的 top-5 错误率，比同类最大池化网络高出 0.6%。

ABSTRACT

Deep convolutional neural networks have recently proven extremely competitive in challenging image recognition tasks. This paper proposes the epitomic convolution as a new building block for deep neural networks. An epitomic convolution layer replaces a pair of consecutive convolution and max-pooling layers found in standard deep convolutional neural networks. The main version of the proposed model uses mini-epitomes in place of filters and computes responses invariant to small translations by epitomic search instead of max-pooling over image positions. The topographic version of the proposed model uses large epitomes to learn filter maps organized in translational topographies. We show that error back-propagation can successfully learn multiple epitomic layers in a supervised fashion. The effectiveness of the proposed method is assessed in image classification tasks on standard benchmarks. Our experiments on Imagenet indicate improved recognition performance compared to standard convolutional neural networks of similar architecture. Our models pre-trained on Imagenet perform excellently on Caltech-101. We also obtain competitive image classification results on the small-image MNIST and CIFAR-10 datasets.

研究动机与目标

• 开发一种新型的深度学习基础模块，以增强卷积神经网络中的平移不变性。
• 用统一的极小化卷积层替代标准的卷积与最大池化层组合。
• 在大规模图像分类基准（如 ImageNet、Caltech-101、MNIST 和 CIFAR-10）上评估极小化网络的性能。
• 与标准最大池化网络相比，研究极小化网络的收敛速度和训练稳定性。
• 探索预训练的极小化网络作为通用特征提取器在迁移学习任务中的应用价值。

提出的方法

• 提出极小化卷积层，利用略大于输入块的极小图（mini-epitomes）通过极小化搜索计算对小范围平移不变的响应。
• 采用以输入为中心的极小化匹配：对每个输入块，从极小图的滤波器中选取最强响应，替代以滤波器为中心的最大池化。
• 引入一种拓扑变体，使用大尺寸极小图学习具有每输入块多个响应的空间组织特征图。
• 应用误差反向传播算法，以监督方式训练多个极小化层，最小化分类任务上的对数损失。
• 采用滤波器的均值和对比度归一化以加速收敛，方法与先前工作中的技术类似。
• 扩展 Caffe 深度学习框架，以精确的超参数实现并复现所提出的模型。

实验结果

研究问题

• RQ1 极小化卷积层能否在保持性能的同时，有效替代深度网络中标准的卷积与最大池化堆叠？
• RQ2 与传统最大池化相比，极小化表示如何增强平移不变性？
• RQ3 均值与对比度归一化的滤波器对极小化网络的收敛速度有何影响？
• RQ4 预训练的极小化网络在 Caltech-101 上作为特征提取器时，泛化能力如何？
• RQ5 当从零开始训练时，极小化网络在 MNIST 和 CIFAR-10 等小图像基准上能否达到具有竞争力的性能？

主要发现

• 极小图变体在 ImageNet ILSVRC-2012 验证集上实现了 13.6% 的 top-5 错误率，比同类最大池化网络（14.2% 错误率）高出 0.6 个百分点。
• 极小化模型收敛速度优于最大池化基线，尤其在滤波器进行均值与对比度归一化时，收敛速度进一步提升，且训练稳定性也得到改善。
• 作为黑箱特征提取器使用时，预训练的极小化网络在 Caltech-101 上实现了 87.8% 的平均准确率，比最大池化基线高出 0.5 个百分点。
• 在 MNIST 上，极小化网络实现了 0.44% 的测试错误率，与最大池化网络的最先进性能相当。
• 在 CIFAR-10 上，极小化模型达到了 9.43% 的错误率，与最大池化网络的 9.38% 错误率相近，表明其在小图像任务上也表现出色。
• 拓扑变体在 ImageNet 上实现了 15.4% 的 top-5 错误率，表明大尺寸极小图同样有效，但其性能低于主实验中使用的极小图变体。