[论文解读] Explainable Fashion Recommendation: A Semantic Attribute Region Guided Approach

Min Hou, Le Wu+4 more|arXiv (Cornell University)|May 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 14

一句话总结

本文提出 SAERS，一种基于语义属性区域引导的可解释时尚推荐系统，通过弱监督的语义抽取网络（SEN）和细粒度偏好注意力（FPA）模块，在细粒度属性层面建模用户偏好。通过将物品和用户投影到语义属性空间，SAERS 在 Amazon 数据集上实现了最先进性能，并通过注意力加权的属性高亮提供个性化、视觉可解释的推荐理由。

ABSTRACT

In fashion recommender systems, each product usually consists of multiple semantic attributes (e.g., sleeves, collar, etc). When making cloth decisions, people usually show preferences for different semantic attributes (e.g., the clothes with v-neck collar). Nevertheless, most previous fashion recommendation models comprehend the clothing images with a global content representation and lack detailed understanding of users' semantic preferences, which usually leads to inferior recommendation performance. To bridge this gap, we propose a novel Semantic Attribute Explainable Recommender System (SAERS). Specifically, we first introduce a fine-grained interpretable semantic space. We then develop a Semantic Extraction Network (SEN) and Fine-grained Preferences Attention (FPA) module to project users and items into this space, respectively. With SAERS, we are capable of not only providing cloth recommendations for users, but also explaining the reason why we recommend the cloth through intuitive visual attribute semantic highlights in a personalized manner. Extensive experiments conducted on real-world datasets clearly demonstrate the effectiveness of our approach compared with the state-of-the-art methods.

研究动机与目标

• 为解决时尚推荐中对用户偏好的细粒度理解不足，特别是对领型、袖型等特定语义属性的理解不足。
• 开发一种既能提供准确推荐，又能直观展示推荐原因的模型，通过可视化解释说明推荐依据。
• 通过引入细粒度、可解释的语义属性空间，克服全局图像表征的局限性，其中每个维度对应一个特定的服装属性。
• 实现无需人工标注的弱监督属性特征提取，从时尚图像中自动提取特定属性的特征。
• 在贝叶斯个性化排序框架下，联合学习全局视觉特征与局部属性表征。

提出的方法

• 引入一个语义属性空间，其中每个维度对应一个特定的服装属性（如 V 字领、短袖），以支持细粒度偏好建模。
• 设计一个语义抽取网络（SEN），仅使用物品级别的标签，以弱监督方式定位并提取区域特定的属性表征。
• 设计一个细粒度偏好注意力（FPA）模块，为每个语义属性学习个性化的注意力权重，并聚合这些权重以表示用户偏好。
• 将用户和物品同时投影到语义属性空间，实现用户偏好与物品属性之间的个性化匹配。
• 在贝叶斯个性化排序（BPR）框架内，采用成对学习目标优化模型，以提升推荐准确性。
• 使用基于 Grad-CAM 的注意力图（Grad-AAM）可视化并高亮推荐解释中最相关的语义属性。

实验结果

研究问题

• RQ1 在个体语义属性（如领型、袖长）层面建模用户偏好，是否能提升时尚推荐性能？
• RQ2 弱监督方法能否在无需人工边界框标注的情况下，有效定位并提取时尚图像中有意义的语义属性表征？
• RQ3 同时整合全局视觉特征与细粒度属性特征，是否能比单独使用任一特征获得更高的推荐准确率？
• RQ4 模型是否能通过图像中特定属性的高亮，提供个性化且视觉可解释的推荐理由？
• RQ5 模型对超参数设置（如嵌入维度）的鲁棒性如何？

主要发现

• SAERS 在 Amazon 时尚数据集上达到 AUC 0.8161，显著优于次佳基线模型（VBPR + SAF 的 0.7826），提升 1.8%。
• 消融实验表明，引入语义属性特征使 VBPR 提升 1.4%，使 SAERS 提升 1.8%，证明了属性级别建模的有效性。
• 模型对超参数调优具有鲁棒性，NDCG@N 评估中在不同嵌入维度下表现稳定。
• 通过 FPA 和 Grad-AAM 的用户偏好可视化，成功高亮了最相关的属性（如 V 字领、短袖），注意力权重准确反映了用户偏好。
• 即使在冷启动物品上，模型也表现良好，在 All Items 和 Cold Items 两种场景下均保持一致的 NDCG 提升。
• 消融模型 SAERS-SAF（仅使用全局特征）的性能劣于完整 SAERS，证实了全局特征与局部属性特征对最优性能均不可或缺。