[논문 리뷰] Creating Capsule Wardrobes from Fashion Images

Wei-Lin Hsiao, Kristen Grauman|arXiv (Cornell University)|2017. 12. 07.

3D Shape Modeling and Analysis참고 문헌 7인용 수 6

한 줄 요약

이 논문은 실생활의 전신 이미지에서 학습한 비지도 적인 호환성 모델을 사용하여 패션 아이템 간의 조합 점수를 매기는 방식으로, 캡슐 워드로브를 자동으로 생성하는 방법을 제안한다. 문제를 서브모듈러 부분집합 선택 문제로 공식화함으로써, 시각적 호환성과 유연성, 사용자 선호도를 고려한 근사 최적의 캡슐 생성이 가능해지며, 수천 점의 의류에까지 확장 가능한 스케일러블한 성능을 달성한다.

ABSTRACT

We propose to automatically create capsule wardrobes. Given an inventory of candidate garments and accessories, the algorithm must assemble a minimal set of items that provides maximal mix-and-match outfits. We pose the task as a subset selection problem. To permit efficient subset selection over the space of all outfit combinations, we develop submodular objective functions capturing the key ingredients of visual compatibility, versatility, and user-specific preference. Since adding garments to a capsule only expands its possible outfits, we devise an iterative approach to allow near-optimal submodular function maximization. Finally, we present an unsupervised approach to learn visual compatibility from "in the wild" full body outfit photos; the compatibility metric translates well to cleaner catalog photos and improves over existing methods. Our results on thousands of pieces from popular fashion websites show that automatic capsule creation has potential to mimic skilled fashionistas in assembling flexible wardrobes, while being significantly more scalable.

연구 동기 및 목표

• 시각적 호환성과 조합 선택의 과제를 해결함으로써, 최소한의 의류로 구성된, 높은 혼합 가능성과 함께 활용 가능한 캡슐 워드로브를 자동으로 생성하는 것.
• 시각적 호환성, 유연성, 사용자 선호도를 모델링하는 서브모듈러 목적 함수를 개발하여 효율적인 부분집합 선택을 가능하게 하는 것.
• 감독 학습 레이블이나 공구 구매 데이터에 의존하지 않고, 실생활의 전신 패션 이미지에서의 비지도 학습을 통해 시각적 호환성을 학습하는 것.
• 반복적이고 서브모듈러티를 고려한 최적화 전략을 통해 대규모 재고에 대해 확장 가능하고 근사 최적의 캡슐 생성을 가능하게 하는 것.

제안 방법

• 캡슐 워드로브 생성을 서브모듈러 부분집합 선택 문제로 공식화하여, 상호 호환성, 옷차림의 유연성, 사용자별 선호도를 목적 함수에 반영한다.
• 옷차림 조합에 대한 서브모듈러 목적 함수를 설계하여, 의류 추가 시 감소하는 수익을 보장함으로써 효율적인 그레디언트 최적화를 가능하게 한다.
• 상의, 하의, 신발 등의 계층을 번갈아 고정하고 선택하는 반복 알고리즘을 도입하여, 옷차림 구성 전반에 걸친 서브모듈러티를 활용한다.
• 실생활 전신 이미지에서 예측된 속성을 기반으로 관련 주제 모델을 사용해 생성 모델을 훈련하여 k방향의 시각적 호환성을 추론한다.
• 거리 학습 전략을 통해 스트리트 스타일 사진과 청소년 카탈로그 이미지 간의 도메인 격차를 메우며, 학습된 호환성의 이식 가능성을 향상시킨다.
• 실생활 이미지에서 학습된 호환성 점수를 카탈로그 상의 개별 아이템으로 번역하여 혼합-매치 추천을 안내한다.

실험 결과

연구 질문

• RQ1 감독 레이블이나 공구 구매 데이터에 의존하지 않고, 레이블이 없는 실생활 패션 이미지에서 비지도 방법이 효과적으로 시각적 호환성을 학습할 수 있는가?
• RQ2 어떻게 서브모듈러 최적화를 활용하여 시각적 호환성과 유연성을 극대화하는 최소한의 의류 조합을 효율적으로 선택할 수 있는가?
• RQ3 '실생활' 이미지에서 학습된 호환성 모델이 패션 추천에 사용되는 보다 깔끔하고 고립된 카탈로그 사진으로 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 자동 캡슐 생성 방식이 인간 전문가가 구성한 워드로브와 비교해 시각적 호환성과 옷차림 조합의 다양성 측면에서 어떻게 성과를 내는가?
• RQ5 제안된 방법은 대규모 재고에 대해 근사 최적의 캡슐 품질을 유지하면서도 확장 가능한가?

주요 결과

• 사용자 연구를 통해 검증된 결과, 제안된 방법이 인간 전문가가 구성한 캡슐 워드로브와 비교해 시각적 호환성에서 유사하거나 그 이상의 성능을 보였다.
• 소셜 패션 웹사이트에서 수집한 전신 이미지에서 학습한 비지도 호환성 모델이 카탈로그 사진으로도 잘 일반화되며, 기존 최첨단 방법보다 호환성 점수 측정에서 뛰어난 성능을 보였다.
• 반복적인 서브모듈러 최적화 전략은 수천 점의 의류를 포함한 대규모 재고에서도 초 단위 내에 근사 최적의 캡슐 선택을 달성했으며, 브루트 포스 방법이 비현실적인 상황에서 유의미한 성능을 보였다.
• 사용자 연구 결과, 인간 평가자들이 제안된 방법이 생성한 캡슐을 기존 베이스라인보다 더 선호했으며, 특히 더 다양한 조합과 높은 호환성을 제공한다는 점에서 유의미한 우월성을 보였다.
• 이 방법은 다양성과 호환성을 효과적으로 균형 잡으며, 높은 혼합-매치 가능성을 가진 스탠드아롱 아이템이 풍부한 캡슐을 생성한다. 반면, 기존의 베이스라인은 최근접 이웃 매칭 방식으로 유사한 외관의 아이템을 선호하여 이와 같은 성능을 내지 못했다.
• 호환성 모델은 '레이스'와 '스코프 네크라인'과 같은 의미 있는 속성 간 상관관계를 학습하여 예측 정확도를 향상시키고, 더 나은 옷차림 구성에 기여했다.