[論文レビュー] MMFashion: An Open-Source Toolbox for Visual Fashion Analysis

Xin Liu, Jiancheng Li+2 more|arXiv (Cornell University)|May 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 11

ひとこと要約

MMFashion は、属性予測、リtrieval、ランドマーク検出、セグメンテーション、および適合性レコメンデーションなどの多様な視覚的ファッション分析タスクを統合する、オープンソースで PyTorch に基づくツールボックスです。モジュラーなフレームワークとして設計されており、研究者や実務家が、事前学習済みモデル、詳細なドキュメンテーション、複数のベンチマークにおける標準化された評価を活用して、最先端のモデルを簡単にデプロイ・ベンチマーク・拡張できるようにします。

ABSTRACT

We present MMFashion, a comprehensive, flexible and user-friendly open-source visual fashion analysis toolbox based on PyTorch. This toolbox supports a wide spectrum of fashion analysis tasks, including Fashion Attribute Prediction, Fashion Recognition and Retrieval, Fashion Landmark Detection, Fashion Parsing and Segmentation and Fashion Compatibility and Recommendation. It covers almost all the mainstream tasks in fashion analysis community. MMFashion has several appealing properties. Firstly, MMFashion follows the principle of modular design. The framework is decomposed into different components so that it is easily extensible for diverse customized modules. In addition, detailed documentations, demo scripts and off-the-shelf models are available, which ease the burden of layman users to leverage the recent advances in deep learning-based fashion analysis. Our proposed MMFashion is currently the most complete platform for visual fashion analysis in deep learning era, with more functionalities to be added. This toolbox and the benchmark could serve the flourishing research community by providing a flexible toolkit to deploy existing models and develop new ideas and approaches. We welcome all contributions to this still-growing efforts towards open science: https://github.com/open-mmlab/mmfashion.

研究の動機と目的

• 視覚的ファッション分析のための統合プラットフォームの欠如に応えるために、多様なタスクを1つのオープンソースツールボックスに統合すること。
• モジュラーでドキュメントが整備され、事前学習済みモデルが提供されるため、非専門家ユーザーの参入障壁を低減すること。
• 複数のファッション分析タスクにわたる標準化されたベンチマークとモデル比較を可能にすることで、研究の進展を加速すること。
• ユーザーがカスタムモジュールやパイプラインを簡単に統合できるようにすることで、拡張性を支援すること。

提案手法

• バックボーン、ネック、ヘッドという分離されたコンponentsを備えたモジュラー設計を採用し、柔軟な構成と拡張性を実現。
• 各ファッションタスクに、DeepFashion、Market-1501、Polyvore などの既存の最先端モデルとデータセットを統合。
• 標準的なディープラーニング指標を用いる：リtrievalにはトップ-kリCALL、ランドマーク検出には正規化誤差（NE）、検出およびセグメンテーションにはmAP、適合性タスクにはAUC/FITB精度。
• 構成ファイルを活用して、非専門家ユーザーでもモデル設定やハイパーパramータチューニングが簡単に行えるようにする。
• 検出およびセグメンテーションタスクに MMDetection および MMDetection3D のコードベースを活用し、既存のCVパイプラインと互換性を確保。
• 事前学習済み重みと標準化された評価プロトコルを備えたモデルズーを提供し、異なる手法間での公平な比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 視覚的ファッション分析タスクの全範囲をカバーする統合的でモジュラー的かつ使いやすいオープンソースツールボックスを構築することは可能か？
• RQ2 モジュラーなフレームワークは、ファッションAI分野の研究者および非専門家ユーザーの両者にとって、拡張性と使いやすさをどのように向上させるか？
• RQ3 評価プロトコルの標準化と事前学習済みモデルの提供が、ファッション分析分野における再現性とベンチマークの質をどの程度向上させるか？
• RQ4 属性予測、リtrieval、適合性スコアリングなどの多様なファッションタスクにおいて、異なるモデルアーキテクチャやヘッド設計はそれぞれどのように性能を発揮するか？
• RQ5 実際の状況下におけるインショップリtrievalとコンシューマートゥショップリtrieバルの間には、どの程度の性能差が生じるか？

主な発見

• MMFashion は、属性予測、リtrieval、ランドマーク検出、セグメンテーション、適合性の全タスクをカバーしており、この分野で最も包括的なオープンソースプラットフォームである。
• ファッション属性予測タスクにおいて、ランドマークプーリングを用いることで、トップ5平均属性リCALLレートが 0.815 に達し、グローバルプーリングを上回る性能を示した。
• インショップ衣料品リtrievalでは、トップ1リCALLレートが 0.815 を達成した一方、コンシューマートゥショップリtrieバルでは 0.759 に留まり、実環境のシナリオがより挑戦的であることが示された。
• ファッションランドマーク検出では、10pxの距離で正規化誤差（NE）が 0.087 に達し、高い局所化精度を示した。
• COCOスタイルのファッション検出およびセグメンテーションベンチマークにおいて、すべてのスケールで IoU 0.50:0.95 の mAP が 0.599、大規模オブジェクトでは 0.608 を達成した。
• ファッション適合性およびレコメンデーションにおいて、最良の手法は Polyvore-D スプリットでフィルインザブラック（FITB）精度 55.6% および AUC 0.84 を達成し、適合性学習分野での強力な性能を示した。