[论文解读] Compatibility Family Learning for Item Recommendation and Generation

Yong-Siang Shih, Kai-Yueh Chang+2 more|arXiv (Cornell University)|Dec 2, 2017

Generative Adversarial Networks and Image Synthesis被引用 26

一句话总结

本文提出了一种兼容性家族学习框架，通过在共享潜在空间中学习可学习的原型，对非对称、多对多的物品兼容性进行建模。通过引入可微的投影兼容性距离（PCD）函数，并将其与度量正则化的条件生成对抗网络（MrCGAN）结合，该方法在推荐性能方面达到最先进水平，并在用户研究中生成了高度受青睐的兼容物品图像。

ABSTRACT

Compatibility between items, such as clothes and shoes, is a major factor among customer's purchasing decisions. However, learning "compatibility" is challenging due to (1) broader notions of compatibility than those of similarity, (2) the asymmetric nature of compatibility, and (3) only a small set of compatible and incompatible items are observed. We propose an end-to-end trainable system to embed each item into a latent vector and project a query item into K compatible prototypes in the same space. These prototypes reflect the broad notions of compatibility. We refer to both the embedding and prototypes as "Compatibility Family". In our learned space, we introduce a novel Projected Compatibility Distance (PCD) function which is differentiable and ensures diversity by aiming for at least one prototype to be close to a compatible item, whereas none of the prototypes are close to an incompatible item. We evaluate our system on a toy dataset, two Amazon product datasets, and Polyvore outfit dataset. Our method consistently achieves state-of-the-art performance. Finally, we show that we can visualize the candidate compatible prototypes using a Metric-regularized Conditional Generative Adversarial Network (MrCGAN), where the input is a projected prototype and the output is a generated image of a compatible item. We ask human evaluators to judge the relative compatibility between our generated images and images generated by CGANs conditioned directly on query items. Our generated images are significantly preferred, with roughly twice the number of votes as others.

研究动机与目标

• 为解决在简单相似性之外对物品之间非对称、多样化且范围广泛兼容性的建模挑战。
• 通过学习紧凑且有意义的兼容性空间与原型，克服兼容性标注数据稀缺的问题。
• 通过将兼容性建模与图像生成解耦，实现高质量兼容物品图像的生成。
• 开发一种可微、端到端可训练的系统，以捕捉真实世界数据集中复杂的兼容性关系。

提出的方法

• 该系统为每个物品学习一个兼容性家族，包含一个基础嵌入和K个兼容原型，均位于共享潜在空间中。
• 提出一种新颖的可微投影兼容性距离（PCD）函数，确保至少一个原型靠近兼容物品，而远离不兼容物品。
• PCD函数通过要求兼容性具有方向性，强制实现非对称性，以反映现实世界中的购买/下单动态。
• 度量正则化的条件生成对抗网络（MrCGAN）基于投影原型而非查询物品本身生成图像，从而提升生成图像的多样性与真实感。
• 通过度量损失对MrCGAN进行正则化，以保持生成图像与原型输入之间的语义相似性。
• 该框架在共购买、共浏览和搭配数据集上进行端到端训练，并通过数据重加权来平衡正负样本对。

实验结果

研究问题

• RQ1 基于可学习原型的系统能否有效建模超越物品相似性的广泛、非对称且多样的兼容性？
• RQ2 如何设计一种可微距离函数，以在潜在空间中同时强制实现兼容性接近与不兼容性规避？
• RQ3 从原型而非直接从查询物品生成图像，能否提升生成兼容物品的质量与多样性？
• RQ4 与最先进方法相比，所学习的兼容性家族在多大程度上提升了推荐准确率？
• RQ5 人类评估者如何评价所提出的MrCGAN生成的图像与基线GAN生成图像的兼容性？

主要发现

• 所提方法在四个数据集上均实现了最先进的物品推荐性能：Fashion-MNIST+1+2、Amazon共购买、Amazon共浏览/购买，以及Polyvore。
• 在用户研究中，MrCGAN生成的图像在Amazon共购买调查中获得的票数约为基线模型的两倍，表明人类偏好显著更强。
• MrCGAN在生成真实且兼容的图像方面显著优于基线模型，尤其在Amazon数据集中，其与随机图像的差异尤为明显。
• 即使在兼容性关系变为对称时（例如在Amazon共购买和Polyvore数据集中），该模型仍保持强劲性能，表明其对关系对称性的鲁棒性。
• 消融研究显示，当维度固定时，增加原型数量（K）可略微提升性能，但影响有限。
• 度量正则化系数（λₘ）有助于图像生成，但若过强则可能损害推荐准确率，因此建议采用较小的λₘ以实现性能平衡。