[논문 리뷰] The iMaterialist Fashion Attribute Dataset

Sheng Guo, Weilin Huang외 7명|arXiv (Cornell University)|2019. 06. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 4

한 줄 요약

이 논문은 8개 그룹으로 나뉘는 228개 클래스에서 전문가가 주석을付けた 속성을 가진, 첫 번째 백만 개 수준의 다중 레이블, 세분화된 패션 이미지 데이터셋인 iMaterialist Fashion Attribute(iFashion-Attribute) 데이터셋을 소개한다. 이 데이터셋으로 훈련된 딥 컨volution 네트워크는 DeepFashion과 같은 패션 벤치마크에서 최신 기술 수준의 전이 학습 성능을 달성하며, ImageNet이나 Clothes-1M에서 사전 훈련된 모델들을 능가한다.

ABSTRACT

Large-scale image databases such as ImageNet have significantly advanced image classification and other visual recognition tasks. However much of these datasets are constructed only for single-label and coarse object-level classification. For real-world applications, multiple labels and fine-grained categories are often needed, yet very few such datasets exist publicly, especially those of large-scale and high quality. In this work, we contribute to the community a new dataset called iMaterialist Fashion Attribute (iFashion-Attribute) to address this problem in the fashion domain. The dataset is constructed from over one million fashion images with a label space that includes 8 groups of 228 fine-grained attributes in total. Each image is annotated by experts with multiple, high-quality fashion attributes. The result is the first known million-scale multi-label and fine-grained image dataset. We conduct extensive experiments and provide baseline results with modern deep Convolutional Neural Networks (CNNs). Additionally, we demonstrate models pre-trained on iFashion-Attribute achieve superior transfer learning performance on fashion related tasks compared with pre-training from ImageNet or other fashion datasets. Data is available at: https://github.com/visipedia/imat_fashion_comp

연구 동기 및 목표

• 패션 분야에서 대규모, 고품질, 다중 레이블, 세분화된 이미지 데이터셋의 부족을 해결하기 위해.
• 8개 카테고리에서 228개의 세분화된 속성을 가진 100만 개 이상의 패션 이미지를 주석 처리한 벤치마크 데이터셋을 구축하기 위해.
• 실세계 패션 데이터를 사용하여 다중 레이블 이미지 인식 및 세분화된 시각적 분류 연구를 가능하게 하기 위해.
• 하류 패션 인식 작업에서 전이 학습 성능을 고려할 때 iFashion-Attribute에서 사전 훈련하는 것이 얼마나 우월한지 입증하기 위해.
• 패션 속성 예측의 새로운 성능 기준을 설정하기 위해 현대적인 CNN을 사용하여 강력한 베이스라인 결과를 제공하기 위해.

제안 방법

• 다양한 출처에서 추출한 100만 개 이상의 패션 이미지 데이터셋을 정제하였으며, 8개 그룹(카테고리, 색상, 성별, 소재, 목선, 무늬, 소매, 스타일)에서 228개의 세분화된 속성에 대해 전문가 주석을 부여하였다.
• 고도의 레이블 정확도와 일관성을 확보하기 위해 자동 필터링, 전문가 레이블링, 품질 관리 단계를 포함한 다단계 주석 처리 파이프라인을 구현하였다.
• 다중 레이블 속성 예측에 대한 훈련 및 평가를 위해 최신 기술의 딥 컨volution 네트워크(CNN), 특히 Inception-BN을 사용하였다.
• DeepFashion 및 Clothes-50K 벤치마크에서 iFashion-Attribute에서 사전 훈련한 모델을 미세조정하여 전이 학습 성능을 평가하였다.
• 특수한 노이즈 내성 훈련 기법 없이도 표준 훈련 프rotocol(교차 엔트로피 손실 및 표준 데이터 증강)을 적용하였다.
• 검증 세트에서 정밀도, 재현율, Top-k 정확도 지표를 사용하여 성능을 보고하였으며, ImageNet 및 Clothes-1M 사전 훈련 결과와 비교하였다.

실험 결과

연구 질문

• RQ1 기존의 벤치마크와 비교할 때, 대규모, 다중 레이블, 세분화된 패션 속성 데이터셋은 다중 레이블 이미지 인식 성능 향상에 기여하는가?
• RQ2 패션 전용 작업에서 전이 학습 성능 측면에서 iFashion-Attribute에서 사전 훈련하는 것과 ImageNet 또는 Clothes-1M에서 사전 훈련하는 것의 성능는 어떻게 비교되는가?
• RQ3 패션 속성의 세분화된 특성과 높은 내부 클래스 다양성은 기존의 표준 CNN과 기존의 인식 벤치마크에 어떤 도전을 가하는가?
• RQ4 백만 개 수준의 데이터셋에 전문가 주석을付け한 다중 레이블 속성이 포함되면, 하류 작업에서 더 나은 일반화 및 전이 가능성 확보에 기여하는가?
• RQ5 더러운 데이터셋인 Clothes-1M에서 훈련된 복잡한 노이즈 내성 방법보다, iFashion-Attribute에서 표준 CNN 훈련 프로토콜을 적용한 단순한 모델이 더 뛰어난 성능을 내는가?

주요 결과

• iFashion-Attribute 데이터셋은 8개 그룹에서 228개의 세분화된 속성을 가진 913,857장의 훈련 이미지로 구성되어 있으며, 평균적으로 각 이미지당 5.0개의 레이블을 포함한다.
• iFashion-Attribute에서 사전 훈련한 모델은 DeepFashion 검증 세트에서 Top-1 정확도 88.2%, Top-5 정확도 93.3%를 기록하여, ImageNet(87.3% 및 92.9%) 및 Clothes-1M(85.9% 및 91.9%)에서 사전 훈련한 모델들을 능가하였다.
• Clothes-50K 벤치마크에서 iFashion-Attribute에서 사전 훈련한 모델은 80.5%의 정확도를 기록하여, 더러운 데이터셋인 Clothes-1M에서 훈련된 특수 노이즈 내성 방법과 유사한 성능을 보였다.
• 고품질의 전문가 주석 레이블과 세분화된 특성 덕분에, 복잡한 데이터 정제 기법 없이도 모델의 일반화 및 전이 성능 향상이著명하게 향상되었다.
• 결과적으로 iFashion-Attribute는 패션 관련 시각 작업의 사전 훈련 소스로 ImageNet과 Clothes-1M를 모두 능가하는 것으로 입증되었으며, 전이 학습 벤치마크에서 뛰어난 성능을 보였다.
• 절단 실험을 통해 레이블 품질과 데이터 크기가 핵심 요소임을 확인하였다: 더러운 데이터에서 훈련된 더 복잡한 모델보다 iFashion-Attribute에서 단순한 모델이 더 높은 성능을 보였으며, 깨끗하고 전문가가 주석을付け한 데이터의 가치를 입증하였다.