[论文解读] Improving the Annotation of DeepFashion Images for Fine-grained Attribute Recognition

Roshanak Zakizadeh, Michele Sasdelli+2 more|arXiv (Cornell University)|Jul 31, 2018

Generative Adversarial Networks and Image Synthesis参考文献 8被引用 7

一句话总结

本文通过过滤低资源属性、合并视觉上冗余的属性（例如 'striped' 和 'stripe'），并对九个主要服装类别进行重新标注，改进了 DeepFashion 数据集在细粒度属性识别方面的表现。经清理后的标注数据已公开发布，使用带有成对排序损失的双线性 CNN 模型，多标签识别的平均平均精度（mAP）最高提升了 12%。

ABSTRACT

DeepFashion is a widely used clothing dataset with 50 categories and more than overall 200k images where each image is annotated with fine-grained attributes. This dataset is often used for clothes recognition and although it provides comprehensive annotations, the attributes distribution is unbalanced and repetitive specially for training fine-grained attribute recognition models. In this work, we tailored DeepFashion for fine-grained attribute recognition task by focusing on each category separately. After selecting categories with sufficient number of images for training, we remove very scarce attributes and merge the duplicate ones in each category, then we clean the dataset based on the new list of attributes. We use a bilinear convolutional neural network with pairwise ranking loss function for multi-label fine-grained attribute recognition and show that the new annotations improve the results for such a task. The detailed annotations for each of the selected categories are provided for public use.

研究动机与目标

• 解决 DeepFashion 原始 1000 个属性中存在的类别不平衡与冗余问题，这些问题会阻碍细粒度属性识别。
• 识别并仅保留图像样本数量充足（≥6,000 张）的服装类别，以支持可靠的训练。
• 通过移除样本占比低于 2% 的属性，减少标注噪声，并将语义和视觉上相似的属性进行合并。
• 提供一个清理后、公开可用的数据集，包含九个主要服装类别的一致且非冗余的标注。
• 证明改进的标注质量可带来可测量的多标签属性识别性能提升。

提出的方法

• 选取了九个服装类别（例如 'dress', 'tee', 'blouse'），每个类别至少包含 6,000 张图像，以确保训练稳定性。
• 过滤掉每个类别中频率低于 2% 的属性，以缓解类别不平衡问题。
• 将语义和视觉上相似的属性（如 'striped' 和 'stripe'，'polkadot' 和 'dot'）合并为统一标签。
• 基于每个类别的新属性列表，重新构建训练、验证和测试集划分。
• 使用基于 VGG16 的双线性 CNN 模型，结合成对排序损失，进行多标签属性识别训练。
• 采用 ICA 投影与双线性池化方法，提取紧凑且具有判别性的特征用于属性预测。

实验结果

研究问题

• RQ1 移除低频和冗余属性后，对细粒度属性识别模型的性能有何影响？
• RQ2 合并语义相似的属性在多大程度上提升了模型的泛化能力与单属性预测精度？
• RQ3 一个清理后、平衡的 DeepFashion 子集是否足以支持服装类别中多标签属性识别的可靠训练？
• RQ4 标注质量对单属性精度的影响如何，特别是对样本较少的标签？
• RQ5 所提出的重新标注流程是否带来了平均精度与加权平均平均精度的可测量提升？

主要发现

• 在移除频率低于 2% 的属性并合并重复项后，每个类别的属性数量减少至 23 至 35 个，显著提升了数据平衡性。
• 模型的基于排序的平均精度（AvgPrec）在 'blouse' 类别上从 0.49 提升至 0.51，在 'dress' 类别上从 0.59 提升至 0.61，表明在各类别中均实现了稳定提升。
• 加权平均平均精度（wmap）在 'blouse' 上从 0.31 提升至 0.33，在 'dress' 上从 0.40 提升至 0.42，表明整体性能得到改善。
• 对于特定的重复属性对，如 'tee' 类别中的 'print' 和 'printed'，mAP 在合并后从 0.06 提升至 0.54，证明合并可有效解决样本不足问题。
• 在 'dress' 类别中，'striped' 和 'stripe' 这对属性的 mAP 在合并后从 0.42 提升至 0.71，表明冗余标签会严重损害模型性能。
• 在清理后的数据集上训练的模型，在某些类别上 mAP 相对提升了最高达 12%，证实标注质量直接影响识别准确率。