[论文解读] Best Practices for Convolutional Neural Networks Applied to Object Recognition in Images

Anderson de Andrade|arXiv (Cornell University)|Oct 29, 2019

Advanced Neural Network Applications参考文献 13被引用 10

一句话总结

本文使用CIFAR-10数据集研究卷积神经网络（CNN）在图像目标识别中的最佳实践。评估了网络架构、激活函数、归一化技术及训练策略，发现ReLU单元、全局对比度归一化以及参数量较大的中等深度网络在性能上表现更优，而Maxout网络在深层全连接层中引入了噪声。

ABSTRACT

This research project studies the impact of convolutional neural networks (CNN) in image classification tasks. We explore different architectures and training configurations with the use of ReLUs, Nesterov's accelerated gradient, dropout and maxout networks. We work with the CIFAR-10 dataset as part of a Kaggle competition to identify objects in images. Initial results show that CNNs outperform our baseline by acting as invariant feature detectors. Comparisons between different preprocessing procedures show better results for global contrast normalization and ZCA whitening. ReLUs are much faster than tanh units and outperform sigmoids. We provide extensive details about our training hyperparameters, providing intuition for their selection that could help enhance learning in similar situations. We design 4 models of convolutional neural networks that explore characteristics such as depth, number of feature maps, size and overlap of kernels, pooling regions, and different subsampling techniques. Results favor models of moderate depth that use an extensive number of parameters in both convolutional and dense layers. Maxout networks are able to outperform rectifiers on some models but introduce too much noise as the complexity of the fully-connected layers increases. The final discussion explains our results and provides additional techniques that could improve performance.

研究动机与目标

• 评估不同CNN架构与训练配置对图像分类准确率的影响。
• 比较不同激活函数（包括ReLU、tanh、sigmoid和maxout）的有效性。
• 评估预处理技术（如全局对比度归一化和ZCA白化）对模型性能的影响。
• 识别在目标识别中实现鲁棒特征学习的最优超参数与网络深度。
• 为从事类似图像分类任务的实践者提供可操作的见解与训练直觉。

提出的方法

• 在CIFAR-10数据集上训练多个CNN模型，调整网络深度、卷积核大小、重叠程度、池化区域及下采样技术。
• 应用ReLU、tanh、sigmoid和maxout作为激活函数，以比较训练速度与准确率。
• 使用全局对比度归一化和ZCA白化进行输入预处理，以提升特征表示。
• 采用Nesterov加速梯度进行优化，并使用Dropout进行正则化。
• 使用CIFAR-10竞赛的测试集标准图像分类指标评估模型性能。
• 系统性地调整超参数，并记录其选择依据，以确保可复现性与指导性。

实验结果

研究问题

• RQ1 不同激活函数（ReLU、tanh、sigmoid、maxout）如何影响CNN的训练速度与分类准确率？
• RQ2 全局对比度归一化与ZCA白化对模型性能的影响有何相对差异？
• RQ3 网络深度与参数数量如何影响图像分类中的特征学习与泛化能力？
• RQ4 Dropout与Nesterov加速梯度在多大程度上提升模型鲁棒性与收敛性？
• RQ5 Maxout网络能否超越ReLU模型？随着网络复杂度增加，会带来哪些权衡？

主要发现

• ReLU单元在训练速度与分类准确率方面显著优于sigmoid与tanh。
• 全局对比度归一化与ZCA白化始终优于其他预处理方法。
• 在卷积层与全连接层中均具有大量参数的中等深度CNN取得最佳结果。
• 在某些配置下，Maxout网络优于ReLU模型，但随着全连接层复杂度增加，会引入过多噪声。
• ReLU、全局对比度归一化与Nesterov加速梯度的组合带来了最有效的训练动态。
• 广泛的超参数调优与详尽的直觉记录对于在类似图像识别任务中实现最优性能至关重要。