[论文解读] MMFashion: An Open-Source Toolbox for Visual Fashion Analysis

Xin Liu, Jiancheng Li+2 more|arXiv (Cornell University)|May 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 13被引用 11

一句话总结

MMFashion 是一个基于 PyTorch 的开源工具箱，将多种视觉时尚分析任务——如属性预测、检索、关键点检测、分割以及搭配推荐——统一整合到一个模块化框架中。它使研究人员和从业者能够轻松部署、基准测试并扩展最先进模型，提供预训练模型、详尽的文档以及在多个基准上的标准化评估。

ABSTRACT

We present MMFashion, a comprehensive, flexible and user-friendly open-source visual fashion analysis toolbox based on PyTorch. This toolbox supports a wide spectrum of fashion analysis tasks, including Fashion Attribute Prediction, Fashion Recognition and Retrieval, Fashion Landmark Detection, Fashion Parsing and Segmentation and Fashion Compatibility and Recommendation. It covers almost all the mainstream tasks in fashion analysis community. MMFashion has several appealing properties. Firstly, MMFashion follows the principle of modular design. The framework is decomposed into different components so that it is easily extensible for diverse customized modules. In addition, detailed documentations, demo scripts and off-the-shelf models are available, which ease the burden of layman users to leverage the recent advances in deep learning-based fashion analysis. Our proposed MMFashion is currently the most complete platform for visual fashion analysis in deep learning era, with more functionalities to be added. This toolbox and the benchmark could serve the flourishing research community by providing a flexible toolkit to deploy existing models and develop new ideas and approaches. We welcome all contributions to this still-growing efforts towards open science: https://github.com/open-mmlab/mmfashion.

研究动机与目标

• 通过将多样化任务整合到一个开源工具箱中，解决视觉时尚分析缺乏统一平台的问题。
• 通过提供模块化、文档详尽且已预训练的模型，降低非专家用户的使用门槛。
• 通过支持多任务的标准化基准测试与模型对比，加速研究进展。
• 通过支持用户轻松插入自定义模块和流程，提升可扩展性，以适应新型时尚分析应用。

提出的方法

• 采用模块化设计，将组件（主干网络、颈部、头部）解耦，实现灵活配置与可扩展性。
• 整合各类时尚任务的现有最先进模型与数据集，包括 DeepFashion、Market-1501 和 Polyvore。
• 使用标准深度学习指标：检索任务使用 top-k 召回率，关键点检测使用归一化误差（NE），检测与分割任务使用 mAP，搭配任务使用 AUC/FITB 准确率。
• 通过配置文件简化模型设置与超参数调优，即使非专家用户也能轻松操作。
• 复用 MMDetection 与 MMDetection3D 代码库处理检测与分割任务，确保与成熟计算机视觉流水线的兼容性。
• 提供模型动物园（Model Zoo），包含预训练权重与标准化评估协议，支持方法间的公平比较。

实验结果

研究问题

• RQ1 能否构建一个统一、模块化且用户友好的开源工具箱，以支持视觉时尚分析的全谱任务？
• RQ2 模块化框架在多大程度上能提升时尚 AI 领域研究人员与非专家用户的可扩展性与易用性？
• RQ3 标准化评估协议与预训练模型在多大程度上能提升时尚分析中的可复现性与基准测试能力？
• RQ4 不同模型架构与头部设计在属性预测、检索与搭配评分等多样化时尚任务中的表现如何？
• RQ5 在真实世界条件下，店内检索与消费者到店检索之间的性能差距有多大？

主要发现

• MMFashion 支持所有主要时尚分析任务——属性预测、检索、关键点检测、分割与搭配——是该领域最全面的开源平台。
• 在时尚属性预测任务中，采用关键点池化方法的模型实现了 0.815 的 top-5 属性平均召回率，优于全局池化方法。
• 在店内服装检索任务中，模型达到 0.815 的 top-1 召回率；消费者到店检索任务达到 0.759，反映出真实场景下更高的挑战性。
• 时尚关键点检测在 10px 距离下的归一化误差（NE）为 0.087，表明定位精度较高。
• 在 COCO 风格的时尚检测与分割基准上，模型在所有尺度上的 IoU 为 0.50:0.95 时，mAP 达到 0.599，大物体的 mAP 为 0.608。
• 在时尚搭配与推荐任务中，最佳方法在 Polyvore-D 数据集上的填空（FITB）准确率达到 55.6%，AUC 为 0.84，展现出强大的搭配学习性能。