[논문 리뷰] Fashion Meets Computer Vision: A Survey

Wen-Huang Cheng, Sijie Song외 3명|arXiv (Cornell University)|2020. 03. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 207인용 수 50

한 줄 요약

탐지, 분석, 합성, 추천에 걸친 200편이 넘는 패션 중심 컴퓨터 비전 연구들을 포괄적으로 조사한 종합적 survey.

ABSTRACT

Fashion is the way we present ourselves to the world and has become one of the world's largest industries. Fashion, mainly conveyed by vision, has thus attracted much attention from computer vision researchers in recent years. Given the rapid development, this paper provides a comprehensive survey of more than 200 major fashion-related works covering four main aspects for enabling intelligent fashion: (1) Fashion detection includes landmark detection, fashion parsing, and item retrieval, (2) Fashion analysis contains attribute recognition, style learning, and popularity prediction, (3) Fashion synthesis involves style transfer, pose transformation, and physical simulation, and (4) Fashion recommendation comprises fashion compatibility, outfit matching, and hairstyle suggestion. For each task, the benchmark datasets and the evaluation protocols are summarized. Furthermore, we highlight promising directions for future research.

연구 동기 및 목표

• 지능형 패션에서 탐지, 분석, 합성, 추천에 걸친 현재 최첨단 기술 현황을 수집한다.
• 각 패션 작업에 대한 벤치마크 데이터셋과 평가 프로토콜을 요약한다.
• 향후 연구 방향을 이끌어낼 성능 비교와 인사이트를 제공한다.

제안 방법

• 연구를 네 가지 범주로 분류한다: 패션 탐지, 분석, 합성, 추천.
• 탐지에서의 랜드마크 탐지, 파싱, 아이템 검색을 검토한다.
• 패션 분석에서의 속성 인식, 스타일 학습, 인기 예측을 조사한다.
• 합성에서의 스타일 전이, 포즈 변환, 물리적 시뮬레이션을 요약한다.
• 추천에서의 패션 궁합, 의상 매칭, 헤어스타일 제안을 개요한다.
• 각 작업에 대한 데이터셋과 평가 지표를 수집하고 데이터셋 링크를 강조한다.

실험 결과

연구 질문

• RQ1 패션 탐지, 분석, 합성, 추천에 대해 현재-leading한 방법과 데이터셋은 무엇인가?
• RQ2 각 패션 작업에서 지배적인 평가 지표와 벤치마크는 무엇이며, 방법들은 어떻게 비교되는가?
• RQ3 지능형 패션 연구의 주요 도전과 향후 방향은 무엇인가?

주요 결과

• 네 가지 주요 연구 흐름이 지능형 패션을 정의한다: 탐지, 분석, 합성, 추천.
• 딥 러닝 기반 접근법이 랜드마크 탐지, 파싱, 및 교차 도메인 패션 검색 작업을 지배한다.
• 다양한 벤치마크 데이터셋이 존재하며(예: DeepFashion, DeepFashion2, LIP, Fashionpedia) 작업별 지표가 있다.
• 설문조사는 지능형 패션의 진전을 촉진하기 위한 경향, 데이터셋, 향후 방향을 강조한다.
• 데이터셋과 작업에 따라 성능 차이가 있으며, newer 모델은 일반적으로 벤치마크에서 랜드마크 위치 추정 및 파싱 정확도를 향상시킨다.