[논문 리뷰] Fashion Recommendation and Compatibility Prediction Using Relational Network

Maryam Moosaei, Yusan Lin외 1명|arXiv (Cornell University)|2020. 05. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 7

한 줄 요약

이 논문은 시각적 및 의미적 특징을 활용하여 임의의 크기와 순서를 가진 옷차림에서 패션 아이템 간의 호환성을 학습하는 관계망 기반 모델인 FashionRN과 FashionRN-VSE를 제안한다. 이 모델들은 49,740벌의 옷차림으로 구성된 Polyvore 데이터셋에서 호환성 예측 및 빈칸 채우기 과제에서 최신 기술 수준(SOTA) 성능을 달성하며, 시각적 유사성 이상의 호환성을 반영한 임베딩을 학습한다.

ABSTRACT

Fashion is an inherently visual concept and computer vision and artificial intelligence (AI) are playing an increasingly important role in shaping the future of this domain. Many research has been done on recommending fashion products based on the learned user preferences. However, in addition to recommending single items, AI can also help users create stylish outfits from items they already have, or purchase additional items that go well with their current wardrobe. Compatibility is the key factor in creating stylish outfits from single items. Previous studies have mostly focused on modeling pair-wise compatibility. There are a few approaches that consider an entire outfit, but these approaches have limitations such as requiring rich semantic information, category labels, and fixed order of items. Thus, they fail to effectively determine compatibility when such information is not available. In this work, we adopt a Relation Network (RN) to develop new compatibility learning models, Fashion RN and FashionRN-VSE, that addresses the limitations of existing approaches. FashionRN learns the compatibility of an entire outfit, with an arbitrary number of items, in an arbitrary order. We evaluated our model using a large dataset of 49,740 outfits that we collected from Polyvore website. Quantitatively, our experimental results demonstrate state of the art performance compared with alternative methods in the literature in both compatibility prediction and fill-in-the-blank test. Qualitatively, we also show that the item embedding learned by FashionRN indicate the compatibility among fashion items.

연구 동기 및 목표

• 기존 패션 호환성 모델이 고정된 아이템 순서, 카테고리 레이블, 또는 쌍별 호환성만을 요구하는 한계를 해결하기 위해.
• 고정된 순서 없이 임의의 수의 아이템을 포함한 옷차림 전반에 걸쳐 호환성을 예측할 수 있는 모델을 개발하기 위해.
• 시각적-의미적 임베딩을 학습하여 시각적 유사성 이상의 패션 호환성을 반영하기 위해.
• 실제 환경에서의 안정성을 입증하기 위해 호환성 예측 및 빈칸 채우기 과제 모두에서 모델을 평가하기 위해.

제안 방법

• 옷차림 내의 패션 아이템 간 쌍별 상호작용을 모델링하기 위해 관계망(RN)을 사용하며, 관계를 집계하여 전체 호환성 점수를 예측한다.
• 옷차림 내 모든 아이템 쌍 간 호환성 점수를 계산하기 위해 시아미즈 유사 이중 네트워크 아키텍처를 활용한다.
• 사전 훈련된 DenseNet에서 시각적 특징을 통합하고, FashionRN-VSE에서는 CLIP 스타일의 대비 학습 목표로부터 유도된 시각-의미 임베딩(VSE)을 추가한다.
• 관계 점수를 하나의 옷차림 호환성 점수로 집계하기 위해 미분 가능한 풀링 레이어를 적용한다.
• 긍정적인 옷차림에서는 높은 호환성 점수, 부정적인 옷차림에서는 낮은 점수를 얻도록 대비 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.
• t-SNE를 활용해 FashionRN과 DenseNet에서 학습된 아이템 임베딩을 시각화하고 비교하여, 호환성 인식 기반 표현 학습 향상 여부를 입증한다.

실험 결과

연구 질문

• RQ1 관계망이 임의의 수의 아이템과 고정된 순서 없이도 옷차림의 호환성을 효과적으로 모델링할 수 있는가?
• RQ2 기존 최신 기술 수준의 방법들과 비교해 본다면, 이 모델은 호환성 예측 및 빈칸 채우기 과제에서 어떤 성능을 보이는가?
• RQ3 학습된 아이템 임베딩이 시각적 유사성 이상의 실제 패션 호환성을 반영하는 정도는 어느 정도인가?
• RQ4 시각-의미 임베딩(VSE)을 통합함으로써 빈칸 채우기 과제에서 호환 가능한 후보들 간의 순위 정렬 성능이 향상되는가?

주요 결과

• FashionRN은 Polyvore 데이터셋에서 호환성 예측 과제에서 최신 기술 수준 성능을 달성하여 모든 베이스라인 방법을 능가했다.
• 빈칸 채우기 테스트에서 FashionRN은 가장 높은 정확도를 기록했으며, 대부분의 경우 제거된 아이템이 상위 두 순위 내에 랭크되었다.
• 시각-의미 임베딩(VSE)의 추가로 성능이 더욱 향상되었으며, 특히 다수의 호환 가능한 후보들을 구분하는 데서 두드러진 성능 향상을 보였다.
• t-SNE 시각화 결과, FashionRN 임베딩은 옷차림에서 호환되는 아이템들을 함께 군집화하는 반면, DenseNet 임베딩은 시각적 유사성에 따라 군집화됨을 확인하여, FashionRN이 외관을 초월해 호환성을 반영함을 입증했다.
• 모델은 다양한 크기와 순서의 옷차림을 성공적으로 처리하여, 카테고리 레이블이나 고정된 순서 없이도 입력 변동성에 대해 강건함을 입증했다.
• Bi-LSTM 베이스라인은 빈번한 노이즈를 포함한 부정적 샘플로 인해 성능이 열악했으며, 이는 제안된 방법이 카테고리 기반 필터링이 아닌 호환성에 대한 추론에서 유리함을 보여준다.