[논문 리뷰] Explainable Fashion Recommendation: A Semantic Attribute Region Guided Approach

Min Hou, Le Wu외 4명|arXiv (Cornell University)|2019. 05. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 14

한 줄 요약

이 논문은 사용자 선호도를 세분화된 속성 수준에서 모델링하기 위해 약한 지도 학습 방식의 의미적 추출 네트워크(Semantic Extraction Network, SEN)와 세분화된 선호도 어텐션(Fine-grained Preferences Attention, FPA) 모듈을 사용하는 의미적 속성 영역 유도 설명 가능한 패션 추천 시스템인 SAERS를 제안한다. 항목과 사용자를 의미적 속성 공간으로 투영함으로써 SAERS는 아마존 데이터셋에서 최신 기술 수준의 성능을 달성하며, 어텐션 가중치 기반의 속성 강조를 통해 개인화되고 시각적으로 해석 가능한 설명을 제공한다.

ABSTRACT

In fashion recommender systems, each product usually consists of multiple semantic attributes (e.g., sleeves, collar, etc). When making cloth decisions, people usually show preferences for different semantic attributes (e.g., the clothes with v-neck collar). Nevertheless, most previous fashion recommendation models comprehend the clothing images with a global content representation and lack detailed understanding of users' semantic preferences, which usually leads to inferior recommendation performance. To bridge this gap, we propose a novel Semantic Attribute Explainable Recommender System (SAERS). Specifically, we first introduce a fine-grained interpretable semantic space. We then develop a Semantic Extraction Network (SEN) and Fine-grained Preferences Attention (FPA) module to project users and items into this space, respectively. With SAERS, we are capable of not only providing cloth recommendations for users, but also explaining the reason why we recommend the cloth through intuitive visual attribute semantic highlights in a personalized manner. Extensive experiments conducted on real-world datasets clearly demonstrate the effectiveness of our approach compared with the state-of-the-art methods.

연구 동기 및 목표

• 특정 의미적 속성(예: 목선, 소매 유형 등)에 대한 세분화된 사용자 선호도 이해의 부족을 해결하기 위해.
• 정확한 추천과 동시에 특정 항목이 왜 추천되었는지에 대한 직관적이고 시각적인 설명을 제공하는 모델을 개발하기 위해.
• 전역 이미지 표현 방식의 한계를 극복하기 위해, 각 차원이 특정 의류 속성에 대응하는 세분화된 해석 가능한 의미적 속성 공간을 도입하기 위해.
• 수동 레이블링이 필요 없이 패션 이미지에서 속성 전용 특징을 약한 지도 학습 방식으로 추출할 수 있도록 하기 위해.
• 베이지안 개인화 랭킹 프레임워크 내에서 전역 시각적 특징과 국소적 속성 표현을 함께 학습하기 위해.

제안 방법

• 각 차원이 특정 의류 속성(예: V자 목선, 짧은 소매 등)에 대응하는 의미적 속성 공간을 도입하여 세분화된 선호도 모델링을 가능하게 하기 위해.
• 항목 수준의 레이블만을 사용하여 약한 지도 학습 방식으로 영역별 속성 표현을 국소화하고 추출하는 의미적 추출 네트워크(Semantic Extraction Network, SEN)를 개발하기 위해.
• 각 의미적 속성에 대해 개인화된 어텐션 가중치를 학습하고 이를 집계하여 사용자 선호도를 표현하는 세분화된 선호도 어テン션(Fine-grained Preferences Attention, FPA) 모듈을 설계하기 위해.
• 사용자와 항목을 모두 의미적 속성 공간으로 투영하여 사용자 선호도와 항목 속성 간의 개인화된 매칭을 가능하게 하기 위해.
• 베이지안 개인화 랭킹(Bayesian Personalized Ranking, BPR) 프레임워크 내에서 쌍별 학습 목표를 최적화하여 추천 정확도를 향상시키기 위해.
• Grad-CAM 기반 어텐션 맵(Grad-AAM)을 사용하여 추천 설명에서 가장 관련성이 높은 의미적 속성을 시각화하고 강조하기 위해.

실험 결과

연구 질문

• RQ1 개별 의미적 속성(예: 목선, 소매 길이 등) 수준에서 사용자 선호도를 모델링하면 패션 추천 성능이 향상되는가?
• RQ2 수동 바운딩 박스 레이블링 없이도 약한 지도 학습 방식이 패션 이미지에서 의미적 속성 표현을 효과적으로 국소화하고 추출할 수 있는가?
• RQ3 전역 시각적 특징과 세분화된 속성 특징을 모두 통합하면, 단독으로 사용할 경우보다 더 높은 추천 정확도를 달성하는가?
• RQ4 모델이 이미지 내 특정 속성을 강조하여 개인화되고 시각적으로 해석 가능한 설명을 제공할 수 있는가?
• RQ5 임bedding 차원 수와 같은 하이퍼파라미터 설정에 대해 모델의 성능은 얼마나 강인한가?

주요 결과

• SAERS는 아마존 패션 데이터셋에서 AUC 0.8161을 기록하여, 다음으로 우수한 베이스라인인 VBPR + SAF(0.7826)보다 1.8% 높은 성능을 달성했다.
• 제거 실험 결과, 의미적 속성 특징을 통합함으로써 VBPR는 1.4% 향상되고 SAERS는 1.8% 향상되었으며, 이는 속성 수준의 모델링 방식이 효과적임을 입증한다.
• NDCG@N 평가에서 다양한 임베딩 차원에 걸쳐 안정적인 성능을 보이며 하이퍼파라미터 튜닝에 대해 강인함을 입증했다.
• FPA와 Grad-AAM을 통한 사용자 선호도 시각화가 V자 목선, 짧은 소매 등 가장 관련성이 높은 속성을 성공적으로 강조하였으며, 어텐션 가중치가 사용자 선호도를 정확히 반영함을 확인했다.
• 냉각 기간 아이템(콜드 스타트 아이템)에 대해서도 일관된 NDCG 향상이 관찰되어 우수한 성능 유지를 보였다.
• 전체 SAERS와 비교했을 때 전역 특징만을 사용하는 제거 모델인 SAERS-SAF는 성능이 열 劣하므로, 최적의 성능을 위해 전역 특징과 국소적 속성 특징이 모두 필수적임을 확인했다.