[论文解读] Fantastic Embeddings and How to Align Them: Zero-Shot Inference in a Multi-Shop Scenario

Federico Bianchi, Jacopo Tagliabue+3 more|arXiv (Cornell University)|Jul 20, 2020

Technology Adoption and User Behaviour被引用 26

一句话总结

本文提出了一种零样本迁移学习框架，用于对齐多个电商平台店铺的产品嵌入，实现在无需人工标注的情况下实现跨店铺个性化推荐。通过训练各店铺特定的产品嵌入（prod2vec），并利用无监督和有监督方法进行对齐，该方法实现了有效的用户意图迁移，其有效性在新构建的跨店铺数据集上的下一事件预测和自动补全建议任务中得到显著验证。

ABSTRACT

This paper addresses the challenge of leveraging multiple embedding spaces for multi-shop personalization, proving that zero-shot inference is possible by transferring shopping intent from one website to another without manual intervention. We detail a machine learning pipeline to train and optimize embeddings within shops first, and support the quantitative findings with additional qualitative insights. We then turn to the harder task of using learned embeddings across shops: if products from different shops live in the same vector space, user intent - as represented by regions in this space - can then be transferred in a zero-shot fashion across websites. We propose and benchmark unsupervised and supervised methods to "travel" between embedding spaces, each with its own assumptions on data quantity and quality. We show that zero-shot personalization is indeed possible at scale by testing the shared embedding space with two downstream tasks, event prediction and type-ahead suggestions. Finally, we curate a cross-shop anonymized embeddings dataset to foster an inclusive discussion of this important business scenario.

研究动机与目标

• 通过在不同产品嵌入空间之间迁移用户意图，实现在多店铺电商平台中的零样本个性化推荐。
• 解决尽管产品语义相似，但不同数字零售商之间的嵌入空间不可比的问题。
• 开发并基准测试不同数据质量与监督需求下的无监督与有监督对齐方法。
• 在真实世界下游任务（下一事件预测与自动补全建议）中验证该方法的有效性。
• 发布一个公开的、经过匿名化的跨店铺产品嵌入数据集，以支持跨店铺推荐研究的可复现性。

提出的方法

• 使用受自然语言处理中CBOW架构启发的prod2vec模型，基于用户浏览序列训练各店铺特定的产品嵌入，以学习产品的低维表示。
• 应用无监督对齐技术（如Procrustes分析）以及利用跨店铺点击日志进行有监督微调，将不同店铺的嵌入映射到共享向量空间。
• 使用输入为对齐嵌入的条件语言模型进行自动补全个性化推荐，实现在零样本设置下的上下文感知建议。
• 采用无监督对齐与来自点击日志的弱监督相结合的混合方法，以提升迁移能力。
• 开展定性用户研究，评估推荐的相关性，使用人工标注者对生成建议的相关性评分。

实验结果

研究问题

• RQ1 不同电商平台店铺的产品嵌入空间是否能够被有效对齐，从而实现在平台间的零样本用户意图推理？
• RQ2 在不同数据质量与数量条件下，无监督与有监督对齐方法在性能与鲁棒性方面如何比较？
• RQ3 对齐后的嵌入在零样本设置下，能在多大程度上提升下一事件预测与自动补全建议等下游任务的性能？
• RQ4 在多品牌或SaaS电商平台网络中，使用共享嵌入进行个性化推荐具有哪些实际影响？
• RQ5 除了定量指标外，如何通过定性的人工评估来验证对齐过程的有效性？

主要发现

• 所提出的对齐方法在下一事件预测任务中，最佳模型（TM）的MRR@5达到0.138，显著优于基线模型（PM），在SL=1时准确率高出81%。
• 自动补全个性化任务表明，对齐嵌入提升了建议的相关性，人工评估显示最佳模型的建议显著更相关于基线。
• 研究证实，prod2vec模型的超参数调优具有高度上下文依赖性，先前研究中的发现在此工业场景中无法复现。
• 定性评估显示，对齐嵌入成功捕捉了跨店铺的用户意图，人工标注者认为建议在语义上连贯且上下文恰当。
• 所整理的跨店铺嵌入数据集支持可复现研究，并为未来在电商领域，特别是SaaS提供商和多品牌零售商中的迁移学习研究提供支持。