[论文解读] How To Extract Fashion Trends From Social Media? A Robust Object Detector With Support For Unsupervised Learning

Vijay Gabale, Anand Prabhu Subramanian|arXiv (Cornell University)|Jun 28, 2018

Advanced Neural Network Applications参考文献 11被引用 10

一句话总结

本文提出了一种鲁棒的、基于无监督预训练的物体检测框架 CDSSD，用于从社交媒体中提取时尚趋势。通过利用 60K 张未标注的时尚图像进行无监督预训练，并在 Open Images V4 的 8.2K 张标注图像上微调，该方法在 2.4K 的测试集上实现了 72.7% 的 mAP，相较于多个时尚类别中的最先进检测器，性能提升了 11–17%，尤其在靴子和手提包等小物体上表现尤为突出。

ABSTRACT

With the proliferation of social media, fashion inspired from celebrities, reputed designers as well as fashion influencers has shortened the cycle of fashion design and manufacturing. However, with the explosion of fashion related content and large number of user generated fashion photos, it is an arduous task for fashion designers to wade through social media photos and create a digest of trending fashion. This necessitates deep parsing of fashion photos on social media to localize and classify multiple fashion items from a given fashion photo. While object detection competitions such as MSCOCO have thousands of samples for each of the object categories, it is quite difficult to get large labeled datasets for fast fashion items. Moreover, state-of-the-art object detectors do not have any functionality to ingest large amount of unlabeled data available on social media in order to fine tune object detectors with labeled datasets. In this work, we show application of a generic object detector, that can be pretrained in an unsupervised manner, on 24 categories from recently released Open Images V4 dataset. We first train the base architecture of the object detector using unsupervisd learning on 60K unlabeled photos from 24 categories gathered from social media, and then subsequently fine tune it on 8.2K labeled photos from Open Images V4 dataset. On 300 X 300 image inputs, we achieve 72.7% mAP on a test dataset of 2.4K photos while performing 11% to 17% better as compared to the state-of-the-art object detectors. We show that this improvement is due to our choice of architecture that lets us do unsupervised learning and that performs significantly better in identifying small objects.

研究动机与目标

• 解决从社交媒体上海量用户生成的时尚内容中识别和提取时尚趋势的挑战。
• 通过有效利用大量未标注的社交媒体图像，克服大规模全标注时尚数据集稀缺的问题。
• 提升对现实时尚照片中常见且多样的小件时尚物品（如手提包、鞋子和配饰）的检测性能。
• 开发一种可扩展的端到端物体检测系统，支持基于自然语言的时尚图像搜索，使设计师能够查询如“红色连衣裙”或“复古手提包”等趋势。

提出的方法

• 采用基于卷积-反卷积的单阶段检测框架（CDSSD），支持端到端训练和无监督预训练。
• 使用自监督对比学习目标，在 60K 张来自社交媒体的未标注时尚图像上预训练模型，以学习有意义的特征表示。
• 在 Open Images V4 的 8.2K 张标注时尚图像上微调预训练模型，采用多尺度特征图结构，并在不同感受野上设置默认框。
• 应用广泛的图像增强技术，包括随机裁剪、水平翻转、颜色失真和几何变换，以提升对物体尺寸和外观变化的鲁棒性。
• 使用联合损失函数，结合平滑 L1 定位损失和 Softmax 交叉熵置信度损失，并采用 2:1 的负样本框与正样本框比例，以平衡训练过程中的类别不平衡问题。
• 在后处理阶段应用非极大值抑制（NMS），以优化最终检测结果并减少重叠预测。

实验结果

研究问题

• RQ1 在大规模未标注社交媒体时尚图像上进行无监督预训练，是否能显著提升低资源时尚检测场景下物体检测器的性能？
• RQ2 CDSSD 架构通过融合来自不同网络层的特征图，相较于标准 SSD 和 YOLO 检测器，如何提升对小件时尚物品的检测精度？
• RQ3 在多样化的时尚类别上进行训练的单一物体检测模型，在多类时尚单品上具有多大程度的泛化能力，能否实现对时尚图像的自然语言搜索？
• RQ4 检测头中引入反卷积层是否能改善复杂、杂乱的时尚图像中的特征表示学习和定位精度？
• RQ5 该方法能否通过分析社交媒体内容中的时尚物体检测结果，识别出新兴时尚趋势（如颜色偏好或风格搭配）？

主要发现

• 所提出的 CDSSD 模型在 2.4K 张时尚图像测试集上实现了 72.7% 的平均精度均值（mAP），显著优于 YOLO 和 SSD 等最先进检测器。
• 在多个时尚类别中，模型检测性能提升了 11% 至 17%，其中在靴子、高跟鞋和手提包等小物体上提升最为显著。
• 在 60K 张未标注的社交媒体时尚图像上进行无监督预训练，使模型能够学习到鲁棒且可迁移的特征，从而减少了对大规模标注数据的依赖。
• CDSSD 架构通过融合多尺度特征图与反卷积上采样，有效降低了定位误差，并减少了对相似时尚类别的混淆。
• 模型在高召回率下仍保持高精度，表明其在真实时尚图像解析中具有出色的泛化能力和可靠性。
• 该框架成功实现了趋势分析：准确预测了 2015 年巴洛克长裤的兴起、2018 年绿色作为手提包主导颜色的趋势，以及长裙中浅灰色的流行趋势，以及梅子色作为黑色牛仔裤的互补色。