[논문 리뷰] MMFashion: An Open-Source Toolbox for Visual Fashion Analysis

Xin Liu, Jiancheng Li외 2명|arXiv (Cornell University)|2020. 05. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 11

한 줄 요약

MMFashion는 다양한 시각적 패션 분석 작업—속성 예측, 검색, 랜드마크 검출, 세그멘테이션, 호환성 추천—을 하나의 모듈러 프레임워크로 통합하는 오픈소스, 파이토치 기반 툴박스입니다. 이는 연구자와 실무자들이 사전 훈련된 모델, 상세한 문서화, 여러 벤치마크에서 표준화된 평가를 통해 최신 기술 모델을 쉽게 배포하고, 벤치마크를 수행하며 확장할 수 있도록 지원합니다.

ABSTRACT

We present MMFashion, a comprehensive, flexible and user-friendly open-source visual fashion analysis toolbox based on PyTorch. This toolbox supports a wide spectrum of fashion analysis tasks, including Fashion Attribute Prediction, Fashion Recognition and Retrieval, Fashion Landmark Detection, Fashion Parsing and Segmentation and Fashion Compatibility and Recommendation. It covers almost all the mainstream tasks in fashion analysis community. MMFashion has several appealing properties. Firstly, MMFashion follows the principle of modular design. The framework is decomposed into different components so that it is easily extensible for diverse customized modules. In addition, detailed documentations, demo scripts and off-the-shelf models are available, which ease the burden of layman users to leverage the recent advances in deep learning-based fashion analysis. Our proposed MMFashion is currently the most complete platform for visual fashion analysis in deep learning era, with more functionalities to be added. This toolbox and the benchmark could serve the flourishing research community by providing a flexible toolkit to deploy existing models and develop new ideas and approaches. We welcome all contributions to this still-growing efforts towards open science: https://github.com/open-mmlab/mmfashion.

연구 동기 및 목표

• 다양한 시각적 패션 분석 작업을 통합한 유일한 플랫폼 부족 문제를 해결하기 위해, 다양한 작업을 하나의 오픈소스 툴박스로 통합합니다.
• 모듈러성, 철저한 문서화, 사전 훈련된 모델을 제공하여 비전문가 사용자의 진입 장벽을 낮춥니다.
• 다양한 패션 분석 작업 간 표준화된 벤치마크와 모델 비교를 가능하게 하여 연구 진전을 가속화합니다.
• 사용자가 새로운 패션 분석 응용을 위해 쉽게 맞춤형 모듈과 파이프라인을 통합할 수 있도록 확장성을 지원합니다.

제안 방법

• 유연한 구성과 확장성을 위해 백본, 넥, 헤드로 분리된 구성 요소를 가진 모듈러 설계를 채택합니다.
• 각 패션 작업에 대해 기존 최신 기술 모델과 데이터셋을 통합합니다. 예: DeepFashion, Market-1501, Polyvore.
• 표준 딥러닝 평가 지표를 사용합니다: 검색 작업은 top-k 재현율, 랜드마크 검출은 정규화 오차(NE), 검출 및 세그멘테이션은 mAP, 호환성 작업은 AUC/FITB 정확도를 사용합니다.
• 구성 파일을 활용해 비전문가 사용자라도 모델 설정과 하이퍼파라미터 튜닝이 간편하도록 설계합니다.
• 검출 및 세그멘테이션 작업에 MMDetection 및 MMDetection3D 코드베이스를 활용하여 기존 컴퓨터 비전 파이프라인과의 호환성을 확보합니다.
• 사전 훈련된 가중치와 표준화된 평가 프로토콜을 제공하는 모델 저널을 통해 다양한 방법 간 공정한 비교를 가능하게 합니다.

실험 결과

연구 질문

• RQ1 모든 주요 시각적 패션 분석 작업을 지원하는 통합적이고 모듈러하며 사용자 友好的인 오픈소스 툴박스를 구축할 수 있는가?
• RQ2 모듈러 프레임워크는 패션 AI 분야의 연구자와 비전문가 사용자 모두의 확장성과 사용 편의성을 어떻게 향상시킬 수 있는가?
• RQ3 표준화된 평가 프로토콜과 사전 훈련된 모델 제공이 패션 분석 분야의 재현 가능성과 벤치마킹에 얼마나 기여하는가?
• RQ4 속성 예측, 검색, 호환성 점수 산정과 같은 다양한 패션 작업에서 다양한 모델 아키텍처와 헤드 설계는 어떻게 성능을 보이는가?
• RQ5 실제 환경 조건에서 옷가게 내 검색과 소비자에서 옷가게로의 검색 간 성능 격차는 어느 정도인가?

주요 결과

• MMFashion는 속성 예측, 검색, 랜드마크 검출, 세그멘테이션, 호환성 등 주요 패션 분석 작업을 모두 지원하여 이 분야에서 가장 종합적인 오픈소스 플랫폼입니다.
• 패션 속성 예측 작업에서 랜드마크 풀링을 사용할 경우, 평균 속성별 상위 5위 재현율이 0.815에 도달하여 전역 풀링보다 뛰어난 성능을 보였습니다.
• 옷가게 내 검색 작업에서는 상위 1위 재현율이 0.815를 기록했고, 소비자에서 옷가게로의 검색은 0.759를 기록하여 실제 환경에서의 난이도가 더 높음을 반영했습니다.
• 패션 랜드마크 검출은 10px 거리에서 정규화 오차(NE)가 0.087을 기록하여 높은 국소화 정확도를 입증했습니다.
• COCO 스타일의 패션 검출 및 세그멘테이션 벤치마크에서, 모든 스케일에서 IoU 0.50:0.95 기준 mAP가 0.599를 기록했고, 대형 객체에 대해서는 0.608을 기록했습니다.
• 패션 호환성 및 추천 작업에서 최고의 방법은 Polyvore-D 분할에서 55.6%의 Fill-in-the-Blank(FITB) 정확도와 AUC 0.84를 기록하여 호환성 학습에서 뛰어난 성능을 보였습니다.