[논문 리뷰] Fashion DNA: Merging Content and Sales Data for Recommendation and Article Mapping

Christian Bracher, Sebastian Heinz외 1명|arXiv (Cornell University)|2016. 09. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 35

한 줄 요약

이 논문은 콘텐츠(이미지 및 태그)와 판매 데이터를 공동으로 모델링하여 패션 아이템을 공통 임bedding 공간 내에서 조밀한 벡터로 매핑하는 딥러닝 방법인 Fashion DNA를 소개한다. 이 방법은 내부 곱을 통한 고객별 스타일 벡터와 아이템 유사도 학습을 통해 정확하고 콜드 스타트에 강건한 추천을 가능하게 하며, t-SNE 시각화 결과 패션 카테고리 및 스타일 간에 구조화된 패션 지형이 드러난다.

ABSTRACT

We present a method to determine Fashion DNA, coordinate vectors locating fashion items in an abstract space. Our approach is based on a deep neural network architecture that ingests curated article information such as tags and images, and is trained to predict sales for a large set of frequent customers. In the process, a dual space of customer style preferences naturally arises. Interpretation of the metric of these spaces is straightforward: The product of Fashion DNA and customer style vectors yields the forecast purchase likelihood for the customer-item pair, while the angle between Fashion DNA vectors is a measure of item similarity. Importantly, our models are able to generate unbiased purchase probabilities for fashion items based solely on article information, even in absence of sales data, thus circumventing the "cold-start problem" of collaborative recommendation approaches. Likewise, it generalizes easily and reliably to customers outside the training set. We experiment with Fashion DNA models based on visual and/or tag item data, evaluate their recommendation power, and discuss the resulting article similarities.

연구 동기 및 목표

• 기존 판매 데이터 없이도 콘텐츠만으로 아이템 표현을 학습하여 패션 추천의 콜드 스타트 문제를 해결하는 것.
• 패션 아이템 유사도와 고객 구매 가능성 측정이 벡터 연산을 통해 이루어지는 통합 임bedding 공간을 만드는 것.
• 단일 트레이닝된 모델을 통해 미리보지 않은 고객과 아이템에 대한 해석 가능하고 일반화 가능한 스타일 벡터를 생성하는 것.
• 학습된 임bedding의 차원 감소를 통해 패션 데이터 내 계층적이고 의미론적 구조를 드러내는 것.
• 객관적인 아이템 특성과 주관적인 고객 선호도를 반영하는 개인화된 추천을 가능하게 하는 것.

제안 방법

• 개별 고객의 구매를 예측하기 위해, 아티클 이미지와 전문가 태그를 입력으로 사용하는 딥 피드포워드 신경망을 학습한다.
• 최상위 히든 레이어의 활성화값이 각 패션 아이템의 Fashion DNA(fDNA) 벡터로 추출되며, 이는 아이템의 의미론적 및 스타일적 특징을 나타낸다.
• 출력 레이어의 가중치에서 고객별 스타일 벡터를 유도하여, fDNA 벡터와의 내적을 통해 구매 가능성 예측이 가능해진다.
• 모델은 이중 공간 아키텍처를 활용한다: fDNA 공간은 아이템을 위한 것이고, 스타일 벡터 공간은 고객을 위한 것으로, 유사도는 코사인 거리로, 구매 가능성은 내적을 통해 측정된다.
• 고차원의 fDNA 공간을 시각화하기 위해 t-SNE 차원 감소 기법을 적용하여, 패션 카테고리 전반에 걸쳐 자연스러운 클러스터와 구조적 조직이 드러나도록 한다.
• 고객의 구매력사를 기반으로 로지스틱 회귀를 수행함으로써, 훈련된 고객과 유사한 성능을 보이는 미리보지 않은 고객으로 일반화가 가능하다.

실험 결과

연구 질문

• RQ1 콘텐츠와 판매 데이터를 학습한 딥 네트워크가 아이템 유사도와 고객 구매 가능성 둘 다를 포괄하는 통합 임bedding 공간을 학습할 수 있는가?
• RQ2 Fashion DNA는 기존 구매력사가 없는 신규 아이템과 고객에게도 얼마나 정확한 추천을 제공할 수 있는가?
• RQ3 fDNA 공간은 성별, 연령대, 스타일 클러스터 등 의미론적이고 카테고리적인 구조를 얼마나 잘 반영하는가?
• RQ4 모델은 훈련 세트 외부의 고객에게도 신뢰성 있게 일반화될 수 있으며, 협업 필터링과 비교해 콜드 스타트 시나리오에서 성능은 어떻게 되는가?
• RQ5 t-SNE를 통해 시각화했을 때 fDNA 공간에 어떤 내재된 조직이 나타나며, 인간이 이해할 수 있는 패션 카테고리와 얼마나 일치하는가?

주요 결과

• Fashion DNA 모델은 판매 데이터가 없더라도 높은 품질의 추천을 달성하여, 신규 아이템과 고객에 대한 콜드 스타트 문제를 효과적으로 해결한다.
• 모델은 훈련 세트 외부의 고객으로도 잘 일반화되며, 스타일 벡터 추정에 로지스틱 회귀를 사용할 경우 훈련된 고객과 거의 구분되지 않는 예측 성능을 보인다.
• fDNA 공간의 t-SNE 시각화 결과, 남성, 여성, 어린이, 임신용 패션 등 성별, 연령대, 제품 카테고리에 해당하는 명확하고 해석 가능한 클러스터가 드러나는 고도로 구조화된 패션 지형이 나타난다.
• 모델은 스타일의 미세한 변별을 포착하며, 신발 클러스터의 외곽을 따라 발목 높이가 증가하는 경향과 임신용에서 아기, 어린이 패션으로 갈수록 크기/연령이 증가하는 경향을 보인다.
• 남성과 여성 아이템 간의 혼합은 최소한으로 나타나며, 스포츠 및 액세서리와 같은 하위 카테고리는 성별 그룹 전반에 걸쳐 반복적으로 나타나, 의미론적 분리가 강력하게 유지됨을 보여준다.
• 시각적 특징과 태그 기반 특징을 결합하면, 단일 모odal의 경우보다 더 정보가 풍부하고 구조화된 fDNA 표현을 얻을 수 있음을 입증한다.