[论文解读] A Unified Model with Structured Output for Fashion Images Classification

Beatriz Quintino Ferreira, Luís Baía+2 more|arXiv (Cornell University)|Jun 25, 2018

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 12

一句话总结

该论文提出了一种统一的深度学习模型，通过结构化输出方法，从视觉特征中联合预测分层的时尚图像类别（例如，连衣裙、日装连衣裙）和属性（例如，白色、花卉图案）。受Hu等人（2016）的启发，该方法对消息传递机制进行了改进，通过消除对称性、增加层次特异性层，并将消息传递重新定位到增强的潜在空间中，以处理Farfetch的类别树，从而在所有层级上实现了最先进性能，且仅使用单一端到端架构。

ABSTRACT

A picture is worth a thousand words. Albeit a cliché, for the fashion industry, an image of a clothing piece allows one to perceive its category (e.g., dress), sub-category (e.g., day dress) and properties (e.g., white colour with floral patterns). The seasonal nature of the fashion industry creates a highly dynamic and creative domain with evermore data, making it unpractical to manually describe a large set of images (of products). In this paper, we explore the concept of visual recognition for fashion images through an end-to-end architecture embedding the hierarchical nature of the annotations directly into the model. Towards that goal, and inspired by the work of [7], we have modified and adapted the original architecture proposal. Namely, we have removed the message passing layer symmetry to cope with Farfetch category tree, added extra layers for hierarchy level specificity, and moved the message passing layer into an enriched latent space. We compare the proposed unified architecture against state-of-the-art models and demonstrate the performance advantage of our model for structured multi-level categorization on a dataset of about 350k fashion product images.

研究动机与目标

• 通过将多层级图像分类统一为单一端到端架构，减少时尚电商中对多个专用模型的需求。
• 通过显式建模时尚产品标签的分层结构（类别、子类别、属性），提升图像分类性能。
• 仅使用视觉特征，解决时尚图像中大规模、不平衡且长度可变的属性预测挑战。
• 通过生成更完整且一致的标注，提升产品检索与描述生成效果，优于人工标注。
• 验证统一模型能否在类别层次的所有层级上均优于专用模型。

提出的方法

• 该模型基于Hu等人（2016）提出的结构化输出模型的改进版本，专为Farfetch的五级类别树而设计。
• 消息传递层经过重构，消除了对称性，并被置于增强的潜在空间中，以更好地捕捉层次依赖关系。
• 增加了额外层，以确保每个概念层级（类别、子类别、属性）的特定表示学习。
• 架构采用共享的ResNet主干网络进行特征提取，随后通过统一的预测头联合输出所有层级的预测结果。
• 通过结构化预测框架强制实施标签关系，将层次结构视为具有父子约束的图结构。
• 模型采用交叉熵损失进行端到端训练，并引入层次约束，以提升泛化能力和一致性。

实验结果

研究问题

• RQ1 统一的深度学习模型能否在性能上优于专用模型，实现对多层级时尚图像类别和属性的联合预测？
• RQ2 在类别树的不同层级上，整合层次化标签结构在多大程度上提升了分类准确率？
• RQ3 该模型在多大程度上能泛化出人工标注中未包含的缺失属性？
• RQ4 统一架构是否能减少类别、子类别与属性预测之间的不一致性？
• RQ5 改进后的消息传递机制与原始方法相比，在性能和鲁棒性方面表现如何？

主要发现

• 所提出的统一模型在所有层级上均优于最先进专用模型，子类别分类的F1@$k达到69.19%，属性预测的F1@$k达到70.78%。
• 该模型平均每件商品预测2.07个属性，显著高于人工标注的平均值0.96，表明其对缺失属性具有出色的泛化能力。
• 少于1%的预测类别-子类别或类别-属性对存在不一致，证明了模型具有极强的层次一致性。
• 采用共享ResNet主干和改进消息传递机制的模型（Ours - final）性能最高，验证了设计选择的有效性。
• 定性结果表明，模型能正确推断出在真实标签中未出现但视觉上合理的属性（例如，为大衣预测“长款”），从而提升标注的完整性。
• 该模型在标签不平衡和可变长度属性预测方面表现出鲁棒性，在精确率和召回率上均优于基线模型。