[논문 리뷰] Theme-Matters: Fashion Compatibility Learning via Theme Attention

Jui-Hsin Lai, Bo Wu외 4명|arXiv (Cornell University)|2019. 12. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 6

한 줄 요약

이 논문은 패션 호환성 학습을 위한 테마-어텐션 모델을 제안하며, 14,000벌의 옷차림과 32개의 테마 레이블을 포함한 첫 번째 실세계 데이터셋(Fashion32)을 소개한다. 카테고리별 임베딩 공간과 테마 인지 어텐션 메커니즘을 활용하여, 테마 조건부 호환성 예측에서 최신 기술(SOTA) 기준을 초월하며, 옷차림 수준 호환성에서 94.26% AUC, 패딩-더-백(FITB) 작업에서 76.87% 정확도를 달성한다.

ABSTRACT

Fashion compatibility learning is important to many fashion markets such as outfit composition and online fashion recommendation. Unlike previous work, we argue that fashion compatibility is not only a visual appearance compatible problem but also a theme-matters problem. An outfit, which consists of a set of fashion items (e.g., shirt, suit, shoes, etc.), is considered to be compatible for a "dating" event, yet maybe not for a "business" occasion. In this paper, we aim at solving the fashion compatibility problem given specific themes. To this end, we built the first real-world theme-aware fashion dataset comprising 14K around outfits labeled with 32 themes. In this dataset, there are more than 40K fashion items labeled with 152 fine-grained categories. We also propose an attention model learning fashion compatibility given a specific theme. It starts with a category-specific subspace learning, which projects compatible outfit items in certain categories to be close in the subspace. Thanks to strong connections between fashion themes and categories, we then build a theme-attention model over the category-specific embedding space. This model associates themes with the pairwise compatibility with attention, and thus compute the outfit-wise compatibility. To the best of our knowledge, this is the first attempt to estimate outfit compatibility conditional on a theme. We conduct extensive qualitative and quantitative experiments on our new dataset. Our method outperforms the state-of-the-art approaches.

연구 동기 및 목표

• 기존 패션 호환성 모델이 '비즈니스'나 '캐주얼' 같은 테마적 맥락을 忽시하는 한계를 해결하기 위해.
• 시각적 외관에만 의존하는 것이 아니라 특정 테마 조건 하에 옷차림 호환성을 추정할 수 있는 방법을 개발하기 위해.
• 세분화된 패션 카테고리와 테마 레이블을 포함한 고품질의 실세계 데이터셋을 구축하여 테마 인지 패션 모델링을 지원하기 위해.
• 패션 테마와 아이템 호환성 간의 관계를 명시적으로 모델링하여 더 정확하고 맥락 인지 패션 추천을 가능하게 하기 위해.

제안 방법

• 모델은 트리플릿 네트워크와 임베딩 마스크를 활용해 카테고리별로 분리된 부분공간을 학습하여, 각 카테고리에 맞는 구분력 있는 부분공간으로 패션 아이템을 투영한다.
• 입력 테마에 따라 쌍별 호환성을 동적으로 가중하는 테마-어텐션 메커니즘을 구축하여, 테마 조건부 호환성 추정을 가능하게 한다.
• 모델은 카테고리별 임베딩에 대한 멀티헤드 어텐션 메커니즘을 사용해, 옷차림 내 모든 아이템 쌍에 대해 테마 인지 호환성 점수를 계산한다.
• 최종 옷차림 호환성 점수는 어텐션 가중 쌍별 호환성의 집합으로부터 도출되며, 옷차림 수준의 레이블에 대한 지도 학습을 통해 엔드 투 엔드 학습이 가능하다.
• 프레임워크는 트리플릿 쌍에 대한 대비 손실을 사용해 훈련하고, 엔드 투 엔드 학습을 위한 역전파를 통해 최적화된다.
• 모델은 새로 구축한 데이터셋인 Fashion32에서 평가되었으며, 이는 14,000벌의 옷차림, 32개의 테마, 152개의 세분화된 카테고리로 레이블링된 40,000개의 아이템을 포함한다.

실험 결과

연구 질문

• RQ1 특정 테마, 예를 들어 '비즈니스'나 '캐주얼'에 조건을 두면 패션 호환성이 상당히 향상될 수 있는가?
• RQ2 거시적 카테고리보다 세분화된 패션 카테고리를 통합할 경우, 테마 인지 호환성 모델링에 어떤 영향을 미치는가?
• RQ3 테마-어텐션 메커니즘이 테마적 맥락을 忽시하는 기존 기준 모델에 비해 호환성 예측 성능을 얼마나 향상시키는가?
• RQ4 스포츠, 오피스, 일본풍, 자연 등 다양한 테마에 대해 제안된 방법이 얼마나 일반화되는가?
• RQ5 카테고리별 임베딩 공간을 사용할 경우, 공통 임베딩 공간을 사용하는 것보다 호환성 추정 성능이 향상되는가?

주요 결과

• 제안된 모델은 옷차림 호환성 예측에서 전체 테스트 세트에 대해 94.26% AUC를 달성하여, 테마 인지 설정에서 모든 기준 모델을 능가한다.
• '비즈니스' 테마에서는 94.75% AUC와 78.18% FITB 정확도를 기록하여, 다음으로 우수한 방법보다 뚜렷이 뛰어나다.
• '학교' 테마에서는 96.92% AUC와 82.52% FITB 정확도를 달성하여, 다양한 상황에 대한 강력한 일반화 능력을 보여준다.
• '마른 체형'과 '키 큰 체형' 테마 그룹에서는 각각 94.63%와 93.94% AUC를 기록하여 신체 형태 변형에 대한 강건성을 입증한다.
• '오피스', '스포츠', '남성/여성' 성별 테마를 포함한 모든 테마 그룹에서 Type-Aware 및 Theme-Graph 기준 모델을 일관되게 능가한다.
• 제거 실험 결과, 카테고리별 임베딩과 테마-어텐션 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 성능이 5% 이상 감소한다.