[论文解读] Fashion and Apparel Classification using Convolutional Neural Networks

Alexander Schindler, Thomas Lidy+2 more|arXiv (Cornell University)|Nov 11, 2018

Face recognition and analysis被引用 10

一句话总结

本文评估了多种预训练和微调的卷积神经网络（CNN）架构（如InceptionV3和VGG16）在时尚与服装图像分类中的应用，以提升电子商务元数据丰富度。结果表明，将预训练模型在时尚数据集上进行微调可显著提高分类准确率，最佳模型在产品类别分类任务中达到70.6%的top-1准确率，在性别预测任务中达到88%，相比从零开始训练的模型高出超过16个百分点。

ABSTRACT

We present an empirical study of applying deep Convolutional Neural Networks (CNN) to the task of fashion and apparel image classification to improve meta-data enrichment of e-commerce applications. Five different CNN architectures were analyzed using clean and pre-trained models. The models were evaluated in three different tasks person detection, product and gender classification, on two small and large scale datasets.

研究动机与目标

• 通过使用深度学习自动化时尚与服装图像分类，以提升电子商务元数据丰富度。
• 评估多种CNN架构在小规模和大规模数据集上的时尚图像分类任务表现。
• 确定在时尚特定数据上微调预训练模型是否优于从零开始训练。
• 分析数据预处理、类别不平衡和数据增强对模型准确率的影响。
• 研究层级分类体系和标签粒度对分类性能的影响。

提出的方法

• 在两个数据集上评估了五种CNN架构——InceptionV3、VGG16、VGG19、自定义CNN和自定义VGG类网络：小规模人物/产品数据集（7,833张图像）和大规模产品数据集（234,884张图像）。
• 模型既从零开始训练，也使用ImageNet预训练权重进行微调，最终全连接层针对30个时尚类别重新训练。
• 应用了数据增强技术，包括随机裁剪、水平翻转和随机颜色抖动，以提升泛化能力。
• 采用子采样策略解决类别不平衡问题，确保每个类别至少有100张图像，并将类别分布保持在原始大小的10%。
• 评估采用5折交叉验证，结果以图像级和产品级准确率报告，包括均值和累计最大得分。
• 使用混淆矩阵和各类别准确率分析评估模型性能，并识别与层级标签模糊性相关的问题。

实验结果

研究问题

• RQ1 与从零开始训练相比，是否在时尚数据集上微调预训练CNN能提升分类准确率？
• RQ2 不同CNN架构（如InceptionV3、VGG16）在小规模和大规模时尚图像分类任务中的表现如何？
• RQ3 在存在类别不平衡的情况下，数据增强和类别子采样在多大程度上影响模型性能？
• RQ4 层级标签结构（如时尚分类体系中的父子关系）如何影响模型混淆和准确率？
• RQ5 预训练模型能否在未见的时尚类别上实现良好泛化，尤其是在电子商务平台元数据不一致的情况下？

主要发现

• 微调预训练模型在产品分类任务中相比从零开始训练，top-1准确率高出5.9%至7.9%，其中InceptionV3表现最佳。
• 表现最佳的模型为微调后的InceptionV3，在234,884张图像的数据集中达到70.6%的top-1准确率，产品级平均准确率为79.1%。
• 使用微调的预训练模型进行性别预测，准确率峰值达到88%，表明该任务具有较强的泛化能力。
• 从零开始训练的模型（包括自定义架构）准确率仅为43.8%至50.6%，与最佳微调模型相比存在16.1%的性能差距。
• 混淆矩阵显示，密切相关的类别（如JEANS与SKINNY_JEANS）之间存在高度混淆，表明分类体系中的层级标签模糊性带来了挑战。
• 研究发现，当采用分层采样时，预训练模型对类别不平衡和数据子采样具有鲁棒性，能有效保持子集中类别分布的完整性。