[论文解读] Learning Tuple Compatibility for Conditional OutfitRecommendation

Xuewen Yang, Dongliang Xie+4 more|arXiv (Cornell University)|Aug 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 4

一句话总结

本文提出了一种混合类别注意力网络（MCAN），用于条件性穿搭推荐，通过联合建模细粒度和粗粒度类别信息，学习时尚单品之间的元组级兼容性。通过采用带有困难负样本采样的元组三元组学习，MCAN 实现了可控、多样化且顺序无关的推荐，在 Polyvore 和新提出的 IQON 数据集上的兼容性预测与“填空”任务中均优于最先进方法。

ABSTRACT

Outfit recommendation requires the answers of some challenging outfit compatibility questions such as 'Which pair of boots and school bag go well with my jeans and sweater?'. It is more complicated than conventional similarity search, and needs to consider not only visual aesthetics but also the intrinsic fine-grained and multi-category nature of fashion items. Some existing approaches solve the problem through sequential models or learning pair-wise distances between items. However, most of them only consider coarse category information in defining fashion compatibility while neglecting the fine-grained category information often desired in practical applications. To better define the fashion compatibility and more flexibly meet different needs, we propose a novel problem of learning compatibility among multiple tuples (each consisting of an item and category pair), and recommending fashion items following the category choices from customers. Our contributions include: 1) Designing a Mixed Category Attention Net (MCAN) which integrates both fine-grained and coarse category information into recommendation and learns the compatibility among fashion tuples. MCAN can explicitly and effectively generate diverse and controllable recommendations based on need. 2) Contributing a new dataset IQON, which follows eastern culture and can be used to test the generalization of recommendation systems. Our extensive experiments on a reference dataset Polyvore and our dataset IQON demonstrate that our method significantly outperforms state-of-the-art recommendation methods.

研究动机与目标

• 解决现有穿搭推荐系统仅依赖粗粒度或细粒度类别信息所导致的灵活性差和准确性低的问题。
• 不仅在单品层面，更在元组层面（单品-类别对）建模时尚兼容性，实现更精确且可控的推荐。
• 开发一种对物品排序不敏感且能灵活处理粗粒度和细粒度类别查询的推荐系统。
• 贡献一个具有文化多样性的新数据集 IQON，以支持穿搭推荐系统的评估与泛化能力测试。
• 通过统一的基于注意力的架构，整合视觉美感与多层次类别信息，提升兼容性学习效果。

提出的方法

• 提出一种混合类别注意力网络（MCAN），通过独立的嵌入层将细粒度和粗粒度类别信息编码到单品表征中。
• 引入元组三元组学习，以建模单品-类别元组之间的兼容性，其中正样本元组来自同一套穿搭，负样本元组则从不同穿搭中采样。
• 采用半困难负样本和困难负样本采样策略，聚焦于难以区分的负样本，提升兼容性空间的判别能力。
• 引入类别预测层（CPL），将单品序列与类别序列对齐，实现顺序无关的推荐。
• 使用多头自注意力与交叉注意力机制，建模单品与类别之间的交互，捕捉复杂的兼容性模式。
• 通过条件化输入部分元组（包括粗粒度或细粒度类别），支持六种不同的推荐任务，实现多样化且可控的穿搭生成。

实验结果

研究问题

• RQ1 统一模型能否有效学习时尚单品之间的兼容性，同时整合细粒度与粗粒度类别信息？
• RQ2 与序列模型或成对模型相比，混合类别注意力的整合在推荐可控性与多样性方面有何提升？
• RQ3 所提出的 MCAN 模型在不同数据分布下，尤其是具有文化差异的数据集上，泛化能力如何？
• RQ4 类别预测层（CPL）的引入是否显著提升了对物品排序的鲁棒性？
• RQ5 所提出的元组三元组学习结合困难负样本采样，在提升兼容性预测性能方面有多有效？

主要发现

• MCAN 在 Polyvore 和 IQON 数据集上的兼容性预测与“填空”（FITB）任务中，显著优于最先进方法。
• 无论穿搭中物品顺序如何，该模型均表现出色，证明其对排列的鲁棒性，而传统序列模型（如 BiLSTM）则不具备此特性。
• 类别预测层（CPL）的引入使 MCAN 实现完全顺序无关，即使测试时物品顺序与训练时不同，仍能保持高性能。
• MCAN 在六种不同推荐场景中均能生成多样化且可控的推荐，包括仅输入粗粒度或细粒度类别的部分信息。
• 该模型能成功推荐出与目标单品在视觉和风格上兼容的替代品，在视觉连贯性与风格一致性方面优于随机选择同类别单品。
• 新构建的 IQON 数据集基于东方文化背景，有助于更全面地评估穿搭推荐系统在泛化能力与文化多样性方面的表现。