[논문 리뷰] Coherent and Controllable Outfit Generation

Chen Liu, Liu, Chen외 1명|arXiv (Cornell University)|2019. 06. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 15

한 줄 요약

이 논문은 텍스트 쿼리로 옷차림 조합을 안내함으로써 일관되고 제어 가능한 패션 옷차림을 생성하는 새로운 방법을 제안한다. 이미지와 텍스트 표현을 정렬하는 다중모달 임베딩을 학습함으로써, 모델은 아이템 간 호환성과 아이템-쿼리 일관성에 동시에 최적화하여, 사용자가 지정한 주제와 의미적으로 일치하고 임베딩 공간에서 밀도 높게 군집된 옷차림을 생성한다. 이는 호환성 예측과 일관성 평가에서 기존 최고 성능 기준(SOTA)을 뛰어넘는다.

ABSTRACT

When thinking about dressing oneself, people often have a theme in mind whether they're going to a tropical getaway or wish to appear attractive at a cocktail party. A useful outfit generation system should come up with clothing items that are compatible while matching a theme specified by the user. Existing methods use item-wise compatibility between products but lack an effective way to enforce a global constraint (e.g., style, occasion). We introduce a method that generates outfits whose items match a theme described by a text query. Our method uses text and image embeddings to represent fashion items. We learn a multimodal embedding where the image representation for an item is close to its text representation, and use this embedding to measure item-query coherence. We then use a discriminator to compute compatibility between fashion items. This strategy yields a compatibility prediction method that meets or exceeds the state of the art. Our method combines item-item compatibility and item-query coherence to construct an outfit whose items are (a) close to the query and (b) compatible with one another. Quantitative evaluation shows that the items in our outfits are tightly clustered compared to standard outfits. Furthermore, outfits produced by similar queries are close to one another, and outfits produced by very different queries are far apart. Qualitative evaluation shows that our method responds well to queries. A user study suggests that people understand the match between the queries and the outfits produced by our method.

연구 동기 및 목표

• 기존의 아이템 간 호환성에만 의존하는 옷차림 생성 방법에서 전반적인 주제 강화의 부족을 해결하기 위해.
• 스타일, 행사, 계절 또는 장소와 같은 자연어 기술로 옷차림 생성을 가능하게 하기 위해.
• 다중모달 임베딩을 사용해 아이템 간 호환성과 아이템-쿼리 일관성을 동시에 모델링하는 통합 프레임워크를 개발하기 위해.
• 임베딩 공간에서 군집의 조밀함과 의미 일관성을 측정하여 옷차림의 일관성을 정량적으로 평가하기 위해.

제안 방법

• 이 방법은 패션 아이템의 이미지 및 텍스트 임베딩을 추출하기 위해 다중모달 아이템 인코더를 사용하며, 동일한 아이템의 이미지와 텍스트 표현이 가까이 오도록 공유된 임베딩 공간을 학습한다.
• 이중화 네트워크는 아이템의 임베딩을 기반으로 쌍별 아이템 간 호환성을 예측하도록 훈련되며, 호환성 예측에서 최고 성능을 달성한다.
• 모델은 패션 아이템의 임베딩과 옷차림을 묘사하는 텍스트 쿼리의 임베딩 간 코사인 유사도를 측정하여 아이템-쿼리 일관성을 계산한다.
• 다른 샘플링 전략을 사용한 유연한 샘플링 전략과 가중치 분포를 적용하여, 쌍별 호환성과 아이템-쿼리 일관성을 조합하여 최대화하는 아이템을 반복적으로 선택함으로써 옷차림을 생성한다.
• 이 방법은 새로운 평가 지표를 도입한다: 옷차림의 일관성은 임베딩 공간에서 생성된 옷차림의 평균 군집 크기로 측정되며, 더 작은 군집은 더 높은 일관성을 의미한다.
• 쿼리 변화에 대한 반응으로 생성된 옷차림의 인간 이해도를 검증하기 위해 사용자 연구를 실시한다.

실험 결과

연구 질문

• RQ1 자연어 쿼리로 지정된 전반적인 주제(예: 스타일, 행사, 계절)를 효과적으로 강제할 수 있는 패션 옷차림 생성 시스템은 가능한가?
• RQ2 아이템 간 호환성과 아이템-쿼리 일관성을 동시에 최적화하여 의미적으로 일관된 옷차림을 생성할 수 있는가?
• RQ3 유사한 쿼리를 사용해 생성된 옷차림이 학습된 임베딩 공간에서 얼마나 밀접하게 군집하는가?
• RQ4 제안된 방법이 호환성 예측과 일관성 평가 양 측면에서 기존 최고 성능 기준(SOTA)을 초월할 수 있는가?
• RQ5 사용자들은 생성된 옷차림이 입력 쿼리와 의미적으로 일치한다고 느끼는가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 표준 지표를 사용해 측정했을 때 아이템 간 호환성 예측에서 기존 최고 성능 기준(SOTA)을 달성하거나 초월한다.
• 제안된 방법을 사용해 생성된 옷차림은 쌍별 호환성만 고려하는 기준 방법에 비해 평균 군집 크기가 유의미하게 작다(더 높은 일관성).
• 옷차림 군집 중심 간 거리와 쿼리 문장 간 거리 사이에 양의 상관관계가 있으며, 임베딩 손실에서 더 큰 마진 값을 사용할수록 피어슨 상관계수는 증가한다.
• 평균 옷차림 군집 크기와 평균 옷차림 중심 간 거리의 비율(s_c/d_c)은 마진 값이 증가함에 따라 감소하며, 이는 서로 다른 쿼리에서 생성된 옷차림 간의 겹침이 줄어들고 의미적 분리가 향상됨을 나타낸다.
• 사용자 연구에서 참가자 62.4%가 쿼리와 일치하는 옷차림을 정확히 선택하여, 시스템이 인간에게 의미적으로 이해 가능한 옷차림을 생성한다는 것을 입증한다.
• 정성적 결과는 시스템이 세부 조절자(예: '도시' 대비 '해변')에 적절히 반응하여 색상, 신발, 액세서리 등을 적절히 조정함을 보여준다.