[论文解读] ModaNet: A Large-Scale Street Fashion Dataset with Polygon Annotations

Shuai Zheng, Fan Yang+2 more|arXiv (Cornell University)|Jul 3, 2018

Generative Adversarial Networks and Image Synthesis参考文献 45被引用 28

一句话总结

ModaNet 引入了一个大规模街拍时尚数据集，包含 55,176 幅完全标注的图像，为 13 种时尚类别提供了像素级分割掩码、多边形标注和边界框。该数据集支持在时尚理解任务中对深度学习模型进行高级评估，在目标检测、语义分割和多边形预测方面达到最先进性能，使用 Polygon-RNN++ 的多边形预测基线平均 IoU 达到 30.7%。

ABSTRACT

Understanding clothes from a single image has strong commercial and cultural impacts on modern societies. However, this task remains a challenging computer vision problem due to wide variations in the appearance, style, brand and layering of clothing items. We present a new database called ModaNet, a large-scale collection of images based on Paperdoll dataset. Our dataset provides 55,176 street images, fully annotated with polygons on top of the 1 million weakly annotated street images in Paperdoll. ModaNet aims to provide a technical benchmark to fairly evaluate the progress of applying the latest computer vision techniques that rely on large data for fashion understanding. The rich annotation of the dataset allows to measure the performance of state-of-the-art algorithms for object detection, semantic segmentation and polygon prediction on street fashion images in detail. The polygon-based annotation dataset has been released https://github.com/eBay/modanet, we also host the leaderboard at EvalAI: https://evalai.cloudcv.org/featured-challenges/136/overview.

研究动机与目标

• 为解决在真实场景中存在多样化姿态和复杂外观时，缺乏大规模、细粒度的时尚理解数据集的问题。
• 实现对最先进计算机视觉模型在目标检测、语义分割和多边形预测任务中性能的公平评估。
• 在 Paperdoll 数据集中 100 万张弱标注图像的基础上，提供丰富的标注信息——像素级掩码、多边形和边界框。
• 通过实现对时尚单品的精确定位，支持虚拟试穿、个性化推荐和视觉搜索等实际应用。
• 为未来研究在时尚解析领域，特别是边界感知分割和属性预测方面，建立基准。

提出的方法

• 从 Paperdoll 数据集中 100 万张弱标注图像中选取 55,176 幅高质量街拍时尚图像，确保人物姿态和服装风格的多样性。
• 每幅图像均标注了 13 种时尚类别的像素级分割掩码和精确的多边形坐标，以捕捉详细的物体边界。
• 从多边形标注中提取边界框，以支持目标检测任务。
• 对预训练的 Polygon-RNN++ 模型在 ModaNet 上进行微调，以生成多边形预测，并使用 IoU、精确率、召回率和 F1 分数评估性能。
• 通过将分割区域的平均 RGB 值映射到细粒度颜色名称，利用公开的颜色名称映射工具，开发了颜色属性预测原型。
• 在检测、分割和多边形预测任务上，评估了多种最先进深度学习模型（如 DeepLabV3+、FCN-8、ResNet-50 编码器）的性能。

实验结果

研究问题

• RQ1 在具有细粒度标注的大规模、多样化时尚数据集上，最先进深度神经网络在目标检测和语义分割任务中的性能表现如何？
• RQ2 在 ModaNet 上训练的多边形预测模型能否实现高质量的边界定位？其基线性能如何？
• RQ3 ModaNet 的语义分割掩码在多大程度上可用于预测时尚单品的细粒度颜色属性？
• RQ4 与较小且多样性较低的数据集相比，ModaNet 中包含多样化姿态和复杂遮挡的特性对模型泛化能力有何影响？
• RQ5 丰富的标注信息（多边形、掩码、边界框）对时尚理解模型在真实应用场景中的性能有何影响？

主要发现

• ModaNet 数据集包含 55,176 幅完全标注的街拍时尚图像，其规模是此前具有像素级标注数据集的 10 倍。
• Polygon-RNN++ 基线在多边形预测任务中达到 30.7% 的平均 IoU、83.4% 的平均精确率、32.5% 的平均召回率和 45.0% 的平均 F1 分数，为未来研究设立了基准。
• DeepLabV3+ 在所有类别中实现了最高的平均 IoU（81%），在语义分割任务中优于 FCN-8 和其他模型。
• 失败案例显示，模型常会遗漏小型或部分遮挡的物品（如领结），或混淆相似类别（如靴子与鞋子），凸显了细粒度定位的挑战。
• 颜色属性预测原型成功地将分割区域映射到描述性颜色名称，证明了分割掩码在下游应用中的实用性。
• 由于其规模、标注丰富性和真实世界多样性，该数据集显著提升了时尚理解任务的性能，无论在粒度还是覆盖范围上，均超越了以往数据集。