[논문 리뷰] FashionNet: Personalized Outfit Recommendation with Deep Neural Network

Tong He, Yang Hu|arXiv (Cornell University)|2018. 10. 04.

3D Shape Modeling and Analysis참고 문헌 18인용 수 17

한 줄 요약

FashionNet는 두 단계 학습 전략을 사용하여 항목 간 호환성과 사용자 선호도를 동시에 모델링함으로써 개인화된 옷차림 추천을 위한 딥 러닝 프레임워크를 제안한다. 특징 추출에 컨volutional 네트워크(CNN)를 사용하고, 호환성 점수 계산에 완전 연결 네트워크를 사용하며, 피니튜닝을 통해 개인화를 구현한다. 실험 결과 기준 모델 대비 평균 NDCG에서 14.9% 향상됨.

ABSTRACT

With the rapid growth of fashion-focused social networks and online shopping, intelligent fashion recommendation is now in great need. We design algorithms which automatically suggest users outfits (e.g. a shirt, together with a skirt and a pair of high-heel shoes), that fit their personal fashion preferences. Recommending sets, each of which is composed of multiple interacted items, is relatively new to recommender systems, which usually recommend individual items to users. We explore the use of deep networks for this challenging task. Our system, dubbed FashionNet, consists of two components, a feature network for feature extraction and a matching network for compatibility computation. The former is achieved through a deep convolutional network. And for the latter, we adopt a multi-layer fully-connected network structure. We design and compare three alternative architectures for FashionNet. To achieve personalized recommendation, we develop a two-stage training strategy, which uses the fine-tuning technique to transfer a general compatibility model to a model that embeds personal preference. Experiments on a large scale data set collected from a popular fashion-focused social network validate the effectiveness of the proposed networks.

연구 동기 및 목표

• 다수의 호환 가능한 아이템으로 구성된 개인화된 패션 옷차림을 추천하는 과제를 해결하기 위해.
• 전통적인 공동 필터링의 한계를 극복하기 위해 딥 네트워크를 사용하여 다중 아이템 옷차림의 아이템 간 호환성을 모델링하기 위해.
• 피니튜닝을 통해 일반적인 호환성 모델을 개인 사용자 선호도에 맞게 적응시켜 개인화를 가능하게 하기 위해.
• 옷차림 추천에서 공동 표현 학습과 호환성 모델링을 위한 다양한 아키텍처 설계를 비교하기 위해.
• 대규모 실세계 패션 데이터셋에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 두 단계 학습 전략을 사용함: 먼저 모든 사용자 데이터를 기반으로 일반 호환성 모델을 사전 학습하고, 이후 사용자별 데이터로 모델을 피니튜닝함.
• 패션 아이템 이미지에서 의미적 임베딩을 추출하기 위해 딥 컨volution 네트워크(CNN)를 특징 네트워크로 사용함.
• 옷차림 내 아이템 특징 간 호환성 점수를 계산하기 위해 다층 완전 연결 네트워크를 매칭 네트워크로 사용함.
• 세 가지 아키텍처를 탐색함: FashionNet A(특징 및 매칭 네트워크를 공유), FashionNet B(매칭 이전에 특징을 연결), FashionNet C(쌍별 호환성 모델링).
• 두 번째 단계에서 피니튜닝을 적용하여 일반 모델을 개인 사용자 취향에 맞게 적응시키며, 네트워크의 전체 또는 부분 피니튜닝에 대한 분석을 실시함.
• 평가 지표로 Polyvore 기반 데이터셋에서 NDCG@k와 상위-k 양호한 옷차림 수를 사용함.

실험 결과

연구 질문

• RQ1 특징 학습과 호환성 모델링을 결합하기 위한 다양한 아키텍처 설계가 옷차림 추천 성능에 어떤 영향을 미치는가?
• RQ2 피니튜닝을 활용한 두 단계 학습 전략이 일반 호환성 모델을 개인 사용자에게 효과적으로 개인화하는 데 효과적인가?
• RQ3 매칭 레이어 뿐만 아니라 사용자 맞춤 특징 표현을 학습하는 것이 추천 정확도 향상에 기여하는가?
• RQ4 제안된 방법이 기준 모델 대비 NDCG와 리콜 측면에서 상위-k 추천 성능에서 어떻게 성능을 내는가?
• RQ5 고차원 호환성 모델링(예: 공동 대비 쌍별)이 추천 품질에 어떤 영향을 미치는가?

주요 결과

• 쌍별 호환성 모델링을 수행하는 FashionNet C가 FashionNet B 및 A를 초월하여 기준 모델 대비 평균 NDCG에서 14.9% 향상됨.
• 두 단계 학습 전략이 성능 향상에 크게 기여하며, 모든 아키텍처에서 첫 번째 단계에서 두 번째 단계로의 성능 향상이 뚜렷함.
• 특징 추출기까지 전체 네트워크를 피니튜닝하는 것이 매칭 레이어만 피니튜닝하는 것보다 더 좋은 성능을 내지만, 계산 비용이 더 높음.
• 전체 피니튜닝과 부분 피니튜닝 간 성능 격차는 사용자 맞춤 특징 학습이 추천 정확도 향상에 기여함을 시사함.
• FashionNet A는 표현 학습과 호환성 학습이 분리되지 않아 성능이 열 劣하므로, 이 두 요소를 분리하는 것이 유리함을 입증함.
• 실험 결과 딥 러닝과 피니튜닝이 희소한 사용자-아이템 상호작용을 다룰 때 특히 효과적으로 개인화된 세트 추천을 수행할 수 있음.