[논문 리뷰] Styling with Attention to Details

Ayushi Dalmia, Sachindra Joshi외 2명|arXiv (Cornell University)|2018. 07. 03.

Recommender Systems and Techniques참고 문헌 5인용 수 3

한 줄 요약

이 논문은 사용자가 생성한 소셜 미디어 콘텐츠를 바탕으로 스타일리시하고 조화로운 패션 아이템을 추천하기 위해 어텐션 메커니즘을 통합한 시퀀스 투 시퀀스 모델을 제안한다. 패션 포스트의 좋아요와 댓글을 활용하여 스타일 간 관계를 학습함으로써, 검색 작업에서 베이스라인 방법 대비 상위 1위 정확도에서 28% 향상되고, 평균 역수 순위(MRR)에서 24% 향상된다.

ABSTRACT

Fashion as characterized by its nature, is driven by style. In this paper, we propose a method that takes into account the style information to complete a given set of selected fashion items with a complementary fashion item. Complementary items are those items that can be worn along with the selected items according to the style. Addressing this problem facilitates in automatically generating stylish fashion ensembles leading to a richer shopping experience for users. Recently, there has been a surge of online social websites where fashion enthusiasts post the outfit of the day and other users can like and comment on them. These posts contain a gold-mine of information about style. In this paper, we exploit these posts to train a deep neural network which captures style in an automated manner. We pose the problem of predicting complementary fashion items as a sequence to sequence problem where the input is the selected set of fashion items and the output is a complementary fashion item based on the style information learned by the model. We use the encoder decoder architecture to solve this problem of completing the set of fashion items. We evaluate the goodness of the proposed model through a variety of experiments. We empirically observe that our proposed model outperforms competitive baseline like apriori algorithm by ~28 in terms of accuracy for top-1 recommendation to complete the fashion ensemble. We also perform retrieval based experiments to understand the ability of the model to learn style and rank the complementary fashion items and find that using attention in our encoder decoder model helps in improving the mean reciprocal rank by ~24. Qualitatively we find the complementary fashion items generated by our proposed model are richer than the apriori algorithm.

연구 동기 및 목표

• 사용자 스타일에 부합하는 보완 패션 아이템을 단순 공존 또는 유사도 기반 추천을 넘어서 추천하는 데 도전한다.
• Polyvore와 Chictopia와 같은 소셜 미디어 플랫폼의 데이터를 활용하여 주관적이고 변화하는 패션 스타일을 모델링한다.
• 복잡한 속성 수준의 상호작용(예: 색상, 무늬)을 포괄하는 복잡한 패션 세트에서의 상호작용을 포착하는 데이터 기반의 일반화 가능한 방법을 개발한다.
• 에ncoder-디코더 아키텍처에 어텐션 메커니즘을 통합하여 추천 정확도와 랭킹 품질을 향상시킨다.
• 정적 구매 이력에 머물지 않고, 실시간 사용자 주도 스타일 신호를 활용하여 동적 스타일 모델링을 구현한다.

제안 방법

• 입력으로 패션 아이템 집합을, 출력으로 보완되는 아이템을 갖는 시퀀스 투 시퀀스 문제로 패션 세트 완성 작업을 재정의한다.
• 소셜 미디어 포스트에서 유도된 문맥적 표현을 학습하기 위해 딥 네트워크를 활용한 에ncoder-디코더 아키텍처를 적용한다.
• 예측 과정에서 입력 패션 세트의 관련 특징에 동적으로 집중하기 위해 디코더에 어텐션 메커니즘을 도입한다.
• 소셜 신호(좋아요, 댓글)를 암묵적 스타일 지표로 활용하여 소셜 미디어 포스트에서 파싱한 텍스트 기반 설명을 학습 데이터로 사용한다.
• 패션 분류 체계와 속성 수준의 특징(색상, 무늬, 유형 등)을 활용하여 입력 표현을 풍부화하고 일반화 능력을 향상시킨다.
• 직렬 생성을 위한 교차 엔트로피 손실을 최적화하고, 평균 역수 순위(MRR)와 같은 검색 성능 지표 기반으로 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 좋아요와 댓글과 같은 소셜 미디어 신호가 주관적이고 변화하는 패션 스타일을 효과적으로 모델링하는 데 사용될 수 있는가?
• RQ2 어텐션 메커니즘을 통합한 시퀀스 투 시퀀스 모델이 기존의 규칙 기반 또는 연관 기반 방법 대비 스타일적으로 조화로운 보완 패션 아이템을 얼마나 잘 생성할 수 있는가?
• RQ3 어떤 정도로 어텐션 메커니즘이 검색 설정에서 추천된 패션 아이템의 랭킹 품질을 향상시키는가?
• RQ4 수작업으로 만든 규칙나 코어티드 스타일 데이터셋에 의존하지 않고도 딥 러닝 모델이 다양한 패션 세트에 일반화할 수 있는가?
• RQ5 상위 1위 정확도와 검색 효율성 측면에서 apriori 알고리즘과 비교할 때 모델의 성능은 어떠한가?

주요 결과

• 어텐션을 통합한 제안된 시퀀스 투 시퀀스 모델은 apriori 알고리즘 대비 상위 1위 추천 정확도에서 28% 향상되었다.
• 어텐션 메커니즘이 검색 기반 평가에서 평균 역수 순위(MRR)를 약 24% 향상시켜 관련 아이템의 랭킹 품질 향상을 보였다.
• 정성적 분석 결과, apriori 베이스라인 대비 더 다양한 스타일의 보완 패션 아이템을 생성하는 것으로 나타났다.
• 모델는 비정형 소셜 미디어 텍스트에서 색상과 무늬의 호환성과 같은 복잡한 스타일 관계를 효과적으로 포착했다.
• 소셜 신호의 활용은 전통적인 구매 기반 방법의 오래된 트렌드 문제를 피하고 현재의 최신 스타일 트렌드를 반영할 수 있도록 했다.
• 모델는 다양한 패션 세트에 걸쳐 잘 일반화되어 있으며, 희귀하거나 복잡한 조합에 대해서도 관련 있는 추천을 효과적으로 생성하는 데 있어 강건성을 보였다.