[논문 리뷰] Complete the Look: Scene-based Complementary Product Recommendation

Wang-Cheng Kang, Eric Kim외 3명|arXiv (Cornell University)|2018. 12. 04.

Visual Attention and Saliency Detection참고 문헌 46인용 수 5

한 줄 요약

이 논문은 'Complete the Look'(CTL) 작업을 도입하여, CNN과 주의 메커니즘을 사용해 실제 장면 이미지에서 보완되는 패션 제품을 추천하는 새로운 방법을 제안한다. 이는 태깅된 데이터가 부족하고 주관성이 강하며 장면의 혼잡함으로 인해 복잡한 상호작용 예측 문제를 해결하며, 상태의 최고 성능을 달성하여 호환성 예측에서 인간 수준의 정확도(75.8%)를 달성한다. 또한 장면의 맥락이 제품 전용 접근 방식보다 추천 품질을 크게 향상시킨다.

ABSTRACT

Modeling fashion compatibility is challenging due to its complexity and subjectivity. Existing work focuses on predicting compatibility between product images (e.g. an image containing a t-shirt and an image containing a pair of jeans). However, these approaches ignore real-world 'scene' images (e.g. selfies); such images are hard to deal with due to their complexity, clutter, variations in lighting and pose (etc.) but on the other hand could potentially provide key context (e.g. the user's body type, or the season) for making more accurate recommendations. In this work, we propose a new task called 'Complete the Look', which seeks to recommend visually compatible products based on scene images. We design an approach to extract training data for this task, and propose a novel way to learn the scene-product compatibility from fashion or interior design images. Our approach measures compatibility both globally and locally via CNNs and attention mechanisms. Extensive experiments show that our method achieves significant performance gains over alternative systems. Human evaluation and qualitative analysis are also conducted to further understand model behavior. We hope this work could lead to useful applications which link large corpora of real-world scenes with shoppable products.

연구 동기 및 목표

• 실제 패션 장면과 제품 기반 추천 간 격차를 해소하기 위해 새로운 작업인 Complete the Look(CTL)을 도입하는 것.
• 주관성, 장면의 혼잡함, 레이블이 없는 데이터로 인해 복잡한 상호작용 학습 문제를 해결하는 것.
• 기존의 Street2Shop(STL) 데이터셋을 기반으로 자르기 기반의 증강 기법을 사용해 CTL용 훈련 데이터를 생성하는 데이터 구성 방법을 설계하는 것.
• 공통 임bedding 공간에서 카테고리 유도 주의 메커니즘을 활용해 글로벌 및 로컬 모두에서 호환성을 측정하는 통합 모델을 개발하는 것.
• 정량적 및 정성적 평가를 포함해 인간 평가를 통해 모델의 성능이 인간의 패션 감각과 얼마나 일치하는지 평가하는 것.

제안 방법

• 기존의 Street2Shop(STL) 데이터셋에서 자르기 기반의 데이터 증강 기법을 사용해 장면-제품 쌍을 생성함으로써 CTL 작업을 위한 훈련을 가능하게 한다.
• 딥 컨volution 신경망(CNNs)을 사용해 장면 및 제품 이미지에서 글로벌 이미지 임베딩을 학습한다.
• 장면의 개체 수준 영역에서 영역 제안 네트워크 또는 유사한 방법을 사용해 로컬 임베딩을 추출한다.
• 장면의 관련 시각적 부분에 집중하기 위해 카테고리 유도 주의 메커니즘을 적용함으로써 장면과 제품 간 호환성 추정을 향상시킨다.
• 통합된 스타일 공간에서 호환성 점수를 계산하여 글로벌 및 로컬 특징을 조합해 제품이 장면에 얼마나 잘 어울리는지 예측한다.
• 상위-K 추천 성능 최적화를 위해 대조 학습 또는 순위 손실을 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 장면 이미지가 신체 유형, 계절, 스타일과 같은 의미 있는 맥락적 단서를 제공할 수 있는가? 이는 제품 전용 모델보다 보완 제품 추천을 향상시키는가?
• RQ2 기존 데이터셋에 이러한 레이블이 없기 때문에, 장면 기반 보완 제품 추천을 위한 대규모 고품질 데이터셋을 어떻게 구성할 수 있는가?
• RQ3 카테고리 유도 주의로 강화된 글로벌 및 로컬 특징을 포함한 통합 임베딩 공간이 호환성 예측에 얼마나 기여하는가?
• RQ4 모델의 성능이 모호하거나 주관적인 경우 인간의 패션 판단과 얼마나 잘 일치하는가?
• RQ5 모델이 도메인 특화 재학습 없이도 패션과 인테리어 디자인 등 다양한 도메인으로 일반화 가능한가?

주요 결과

• 제안된 모델은 데이터셋 레이블 기준 벤치마크에서 75.8%의 정확도를 달성하여 BPR-DAE 및 시아미즈 네트워크를 포함한 모든 베이스라인을 초월한다.
• 모델은 인간 수준의 성능을 달성하여 동일한 테스트 세트에서 패션 전문가의 75.0% 정확도와 비교해 75.8%의 정확도를 기록한다.
• 전문가와 데이터셋 레이블이 일치하는 명확한 케이스의 부분집합에서 평가했을 때, 모델은 65.0%의 정확도를 기록하며 모든 베이스라인을 능가한다.
• 인간 평가 결과, 모델의 추천 결과는 인간의 패션 감각과 일치함을 확인했으며, 인간 판단을 기준으로 한 지표에서 다른 모델보다 뛰어난 성능을 보였다.
• 정성적 분석 결과, 모델은 색상이나 형태 일치를 넘어서는 복잡한 스타일 호환성을 포착함을 보여주었으며, 색상 차이가 있음에도 불구하고 단순한 디자인의 램프를 선호하는 등 복잡한 스타일 조합을 이해한다.
• 주의 메커니즘이 장면의 관련 시각적 영역(예: 외투, 모자 등)을 성공적으로 강조하며, 이는 높은 호환성 점수와 관련이 있음을 보여준다.