[论文解读] Implementation of Deep Convolutional Neural Network in Multi-class Categorical Image Classification

P. P. Murugan|arXiv (Cornell University)|Jan 3, 2018

Brain Tumor Detection and Classification被引用 13

一句话总结

本文提出了一种针对多类别图像分类任务优化的深度卷积神经网络（CNN）架构，采用贝叶斯超参数优化方法。该模型采用ReLU激活函数、最大池化、Dropout正则化、批量归一化以及Adam优化器，在使用早停法和数据增强技术训练后，于四分类图像数据集上实现了92%的验证准确率。

ABSTRACT

Convolutional Neural Networks has been implemented in many complex machine learning takes such as image classification, object identification, autonomous vehicle and robotic vision tasks. However, ConvNet architecture efficiency and accuracy depend on a large number of fac- tors. Also, the complex architecture requires a significant amount of data to train and involves with a large number of hyperparameters that increases the computational expenses and difficul- ties. Hence, it is necessary to address the limitations and techniques to overcome the barriers to ensure that the architecture performs well in complex visual tasks. This article is intended to develop an efficient ConvNet architecture for multi-class image categorical classification applica- tion. In the development of the architecture, large pool of grey scale images are taken as input information images and split into training and test datasets. The numerously available technique is implemented to reduce the overfitting and poor generalization of the network. The hyperpa- rameters of determined by Bayesian Optimization with Gaussian Process prior algorithm. ReLu non-linear activation function is implemented after the convolutional layers. Max pooling op- eration is carried out to downsampling the data points in pooling layers. Cross-entropy loss function is used to measure the performance of the architecture where the softmax is used in the classification layer. Mini-batch gradient descent with Adam optimizer algorithm is used for backpropagation. Developed architecture is validated with confusion matrix and classification report.

研究动机与目标

• 开发一种高效的深度卷积神经网络架构，用于多类别图像分类任务。
• 通过Dropout、L1/L2正则化以及数据增强等正则化技术，缓解过拟合与泛化性能差的问题。
• 利用具有高斯过程先验的贝叶斯优化方法对超参数进行调优，以提升模型性能与收敛速度。
• 通过混淆矩阵与分类报告对模型进行验证，评估各类别的性能表现与鲁棒性。

提出的方法

• 该架构包含11层：四个卷积层分别使用32、64、64和64个可训练卷积核，随后进行最大池化与ReLU激活。
• 每个卷积层后均接批量归一化与Dropout（0.2%），以减少过拟合并提升泛化能力。
• 使用四个全连接的密集层，每层128个神经元，结合L1与L2正则化及Dropout，以增强泛化性能。
• 最终分类层采用Softmax激活函数，并使用分类交叉熵损失函数计算预测误差。
• 通过小批量梯度下降与Adam优化器执行反向传播，以加速收敛。
• 应用早停法，在验证损失不再改善时停止训练，防止过拟合。

实验结果

研究问题

• RQ1 如何对深度CNN架构进行优化，以在有限过拟合的情况下实现多类别图像分类？
• RQ2 在多类别图像分类任务中，何种超参数配置能实现最佳泛化性能？
• RQ3 如Dropout、批量归一化与早停法等正则化技术，在提升模型鲁棒性方面的有效性如何？
• RQ4 与随机搜索或网格搜索相比，采用高斯过程先验的贝叶斯优化在超参数选择方面能提升多少性能？

主要发现

• 所提出的CNN架构在测试集上实现了92%的验证准确率，表明其在多类别图像分类任务中具有优异性能。
• 训练准确率达到93%，表明模型学习充分，未出现显著欠拟合现象。
• 类别1（马）与类别0（人）的识别率最高，而猫与狗的性能最低，原因在于二者视觉特征相似。
• 混淆矩阵显示，猫与狗之间的误分类最为频繁，分别有11例与11例误分类。
• 分类报告表明，所有类别平均F1值为0.92，精确率为0.92，召回率为0.92，表明各类别性能均衡。
• 学习曲线显示模型收敛稳定，过拟合程度极低，自第30个周期后训练损失与验证损失仅出现轻微分离。