[논문 리뷰] DeepFashion2: A Versatile Benchmark for Detection, Pose Estimation, Segmentation and Re-Identification of Clothing Images

Yuying Ge, Ruimao Zhang외 4명|arXiv (Cornell University)|2019. 01. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 25

한 줄 요약

이 논문은 801만 개의 의류 인스턴스를 포함한 대규모 벤치마크인 DeepFashion2를 소개한다. 이는 조밀한 랜드마크, 마스크, 바운딩 박스, 그리고 873만 개의 소비자-상업 이미지 쌍을 포함한다. Match R-CNN은 Mask R-CNN 기반의 엔드 투 엔드 프레임워크로, 검출, 자세 추정, 분할, 검색을 동시에 수행하며, 가림, 시점 변화 등의 과제에도 불구하고 모든 작업에서 뛰어난 성능을 기록한다.

ABSTRACT

Understanding fashion images has been advanced by benchmarks with rich annotations such as DeepFashion, whose labels include clothing categories, landmarks, and consumer-commercial image pairs. However, DeepFashion has nonnegligible issues such as single clothing-item per image, sparse landmarks (4~8 only), and no per-pixel masks, making it had significant gap from real-world scenarios. We fill in the gap by presenting DeepFashion2 to address these issues. It is a versatile benchmark of four tasks including clothes detection, pose estimation, segmentation, and retrieval. It has 801K clothing items where each item has rich annotations such as style, scale, viewpoint, occlusion, bounding box, dense landmarks and masks. There are also 873K Commercial-Consumer clothes pairs. A strong baseline is proposed, called Match R-CNN, which builds upon Mask R-CNN to solve the above four tasks in an end-to-end manner. Extensive evaluations are conducted with different criterions in DeepFashion2.

연구 동기 및 목표

• 기존의 의류 벤치마크에서의 한계를 해결하기 위해, 이미지당 단일 항목, 희소 랜드마크(4~8개), 픽셀 단위 마스크 부재 등의 문제를 해결하고자 한다.
• 의류 검출, 자세 추정, 인스턴스 분할, 소비자-쇼핑 상점 간 검색이라는 네 가지 핵심 작업을 지원하는 다용도 벤치마크를 구축하고자 한다.
• 공유된 특징을 사용해 모든 네 가지 작업을 동시에 해결할 수 있는 통합형 엔드 투 엔드 딥 러닝 프레임워크인 Match R-CNN을 개발하고자 한다.
• 가림, 스케일 변화, 시점 변화, 줌 인 효과 등 실제 환경에서의 과제에 대한 모델 성능을 평가하고자 한다.
• DeepFashion2 데이터셋과 Match R-CNN 코드를 공개하여 의류 이미지 이해 분야의 연구를 가속화하고자 한다.

제안 방법

• 491만 장의 이미지에 801만 개의 의류 인스턴스를 애너테이션 처리하여 바운딩 박스, 조밀한 15~39개의 키포인트 랜드마크, 픽셀 단위 마스크, 스타일/시점/가림/스케일 속성 등을 포함한다.
• 교차 도메인 검색 평가를 가능하게 하기 위해 873만 개의 소비자-상업 이미지 쌍을 구성한다.
• Mask R-CNN의 확장으로서 Match R-CNN을 설계하여, 검출, 자세, 분할, 분류 헤드의 특징을 통합해 엔드 투 엔드 검색을 수행한다.
• 검출(AP), 자세 추정(AP), 분할(mAP), 검색(Top-1/5/10/20 정확도)의 네 가지 작업에서 모델을 훈련하고 평가한다.
• 다중 스케일 데이터 증강과 도메인 인식 특징 집합을 사용해 가림, 시점, 스케일 변화에 대한 내성 강화를 도모한다.
• 검색에 가장 효과적인 표현을 파악하기 위해 특징 조합(자세, 클래스, 마스크)에 대한 추론 연구를 수행한다.

실험 결과

연구 질문

• RQ1 대규모이고 풍부한 애너테이션을 가진 의류 벤치마크에서 최신 기술 모델의 성능은 검출, 자세 추정, 분할, 검색 작업 간에 어떻게 달라지나?
• RQ2 가림, 시점, 스케일, 줌 인이 의류 인식 및 정렬 정확도에 얼마나 큰 영향을 미치는가?
• RQ3 Match R-CNN와 같은 통합형 엔드 투 엔드 프레임워크가 동시에 여러 의류 이해 작업을 효과적으로 처리할 수 있는가?
• RQ4 소비자-쇼핑 이미지 매칭에서 어떤 특징 조합(자세, 클래스, 마스크)이 가장 높은 검색 정확도를 낼 수 있는가?
• RQ5 조밀하고 인스턴스 기반의 애너테이션(마스크, 랜드마크)을 포함할 경우, 희소하거나 애너테이션 없을 때와 비교해 모델 일반화 능력이 어떻게 향상되는가?

주요 결과

• 정답 바운딩 박스를 사용할 경우 Match R-CNN의 상위 20개 검색 정확도가 0.7 이하에 머무르며, 이는 벤치마크의 높은 난이도를 시사한다.
• 심한 가림, 줌 인, 측면/뒷면 시점에서 모델 성능이 크게 떨어지며, 의류 이해 분야의 실제 도전 과제를 반영한다.
• 조밀한 랜드마크 추정에서 AP가 0.563에 도달하여, COCO에서의 인간 자세 추정보다 의류 랜드마크 예측이 더 어렵다는 것을 보여준다.
• 작은 스케일이나 심한 가림을 받는 의류 항목의 경우 분할 mAP가 크게 감소하며, 검출 및 자세 추정의 추세와 일치한다.
• 자세 및 클래스 특징을 조합할 경우 마스크나 클래스 특징만 사용할 때보다 더 높은 검색 정확도를 기록하며, 자세 특징이 도메인 간에 더 강건함을 입증한다.
• 이 벤치마크는 FashionAI 글로벌 챌린지의 8배, DeepFashion의 3.5배 이상의 레이블을 포함하여 지금까지 가장 크고 종합적인 의류 데이터셋이다.