[论文解读] Joint IDs Embedding and its Applications in E-commerce.

Kui Zhao, Yuechuan Li+2 more|arXiv (Cornell University)|Dec 22, 2017

Recommender Systems and Techniques参考文献 28被引用 1

一句话总结

本文提出了一种分层嵌入模型，通过利用用户隐式反馈，联合学习多样化的电子商务ID（如商品、品牌和类别ID）的低维语义表示。通过捕捉ID之间的同质与异质关系，该方法可有效支持推荐和预测等下游应用，在盒马App数据上的实证验证表明，其性能显著优于传统的独热编码方法。

ABSTRACT

E-commerce has become an important part of our daily lives and there are great challenges due to its dynamic and complex business environment. Many machine intelligence techniques are developed to overcome these challenges. One of the essential elements in those techniques is the representation of data, especially for ID-type data, e.g. item ID, product ID, store ID, brand ID, category ID etc. The classical one-hot encoding suffers sparsity problems due to its high dimension. Moreover, it cannot reflect the relationships among IDs, either homogeneous or heterogeneous ones. In this paper, we propose a novel hierarchical embedding model to jointly learn low-dimensional representations for different types of IDs from the implicit feedback of users. Our approach incorporates the structural information among IDs and embeds all types of IDs into a semantic space. The low-dimensional representations can be effectively extended to many applications including recommendation and forecast etc. We evaluate our approach in several scenarios of Hema App and the experimental results validate the effectiveness of our approach.

研究动机与目标

• 解决传统独热编码在电子商务ID特征中存在稀疏性和缺乏关系建模的问题。
• 克服在动态电子商务环境中高维静态表示的局限性。
• 将多种类型的ID（如商品、品牌、类别）联合嵌入到共享语义空间中，以捕捉结构化关系。
• 实现低维可迁移的表示，以增强推荐和预测等下游任务的性能。
• 利用隐式用户反馈数据，在真实电子商务场景中验证模型的有效性。

提出的方法

• 提出一种分层神经网络架构，从用户交互日志中联合学习多种ID类型的嵌入表示。
• 使用基于图或分层结构的方法建模ID之间的结构关系，以编码同质关系（如商品到商品）和异质关系（如商品到品牌）。
• 使用用户隐式反馈（如点击、购买）作为监督信号，端到端训练模型，以优化下游相关性。
• 采用低维稠密向量表示每个ID，以实现高效计算和良好泛化能力。
• 将所有ID类型整合到统一的嵌入空间中，以支持跨类型推理和迁移学习。
• 应用负采样和对比学习技术，以从稀疏反馈信号中提升表示质量。

实验结果

研究问题

• RQ1 与孤立学习或独热编码相比，联合学习多种ID类型是否能提升表示质量？
• RQ2 所学习的ID嵌入在多大程度上能捕捉不同电子商务实体之间的有意义语义与结构关系？
• RQ3 联合ID嵌入在真实电子商务系统中的推荐与预测性能提升效果如何？
• RQ4 引入分层结构信息是否能增强ID表示的泛化能力和鲁棒性？
• RQ5 该模型是否能在共享语义空间中实现对不同类型ID（如商品、品牌、类别）的有效泛化？

主要发现

• 所提出的联合ID嵌入模型显著降低了与独热编码相比的表示稀疏性，通过学习低维向量实现。
• 该模型有效捕捉了ID之间的同质与异质关系，如商品-品牌或类别-子类关联。
• 所学习的嵌入在盒马App的真实数据上显著提升了下游推荐与预测性能。
• 分层结构增强了模型在不同ID类型之间泛化的能力，并可扩展至大规模电子商务商品目录。
• 隐式用户反馈足以训练出有效且可迁移的ID嵌入，而无需显式标签。
• 该方法在准确性和任务泛化能力方面均优于使用独热编码或独立嵌入的基线模型。