[论文解读] Contrastive Learning for Debiased Candidate Generation in Large-Scale Recommender Systems

Chang Zhou, Jianxin Ma+3 more|arXiv (Cornell University)|May 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用 11

一句话总结

本文提出 CLRec 和 Multi-CLRec，两种对比学习框架，通过在理论上将对比损失与逆倾向加权（inverse propensity weighting）关联，有效缓解大规模推荐系统中的曝光偏差。通过使用固定大小的先进先出（FIFO）队列缓存并重用负样本，该方法高效地为探索不足的项目编码丰富特征，显著降低马修效应，提升候选生成阶段的公平性与多样性，且计算开销极低。

ABSTRACT

Deep candidate generation (DCG) that narrows down the collection of relevant items from billions to hundreds via representation learning has become prevalent in industrial recommender systems. Standard approaches approximate maximum likelihood estimation (MLE) through sampling for better scalability and address the problem of DCG in a way similar to language modeling. However, live recommender systems face severe exposure bias and have a vocabulary several orders of magnitude larger than that of natural language, implying that MLE will preserve and even exacerbate the exposure bias in the long run in order to faithfully fit the observed samples. In this paper, we theoretically prove that a popular choice of contrastive loss is equivalent to reducing the exposure bias via inverse propensity weighting, which provides a new perspective for understanding the effectiveness of contrastive learning. Based on the theoretical discovery, we design CLRec, a contrastive learning method to improve DCG in terms of fairness, effectiveness and efficiency in recommender systems with extremely large candidate size. We further improve upon CLRec and propose Multi-CLRec, for accurate multi-intention aware bias reduction. Our methods have been successfully deployed in Taobao, where at least four-month online A/B tests and offline analyses demonstrate its substantial improvements, including a dramatic reduction in the Matthew effect.

研究动机与目标

• 解决大规模深度候选生成（DCG）系统中严重的曝光偏差问题，其中基于最大似然估计（MLE）的训练会加剧流行度偏差。
• 开发一种可扩展、高效的 DCG 去偏方法，在保持高模型表达能力的同时，应对十亿量级的项目词表。
• 在理论上建立对比学习与逆倾向加权（IPW）之间的联系，为对比学习在去偏中的有效性提供新解释。
• 设计一种实用框架，实现在大规模场景下对负样本进行高效丰富的特征编码。
• 通过减少马修效应，提升推荐中的公平性与多样性。

提出的方法

• CLRec 使用固定大小的先进先出（FIFO）队列，缓存前一批次的正样本及其表示，并在后续批次中将其用作负样本。
• 该方法采用一种理论上等价于逆倾向加权（IPW）的对比损失函数，从而在训练中减少曝光偏差。
• 通过重用队列中已计算的表示，当队列大小为批次大小的 10 倍时，计算成本可降低高达 90%。
• 该框架支持对负样本进行丰富的特征编码，从而提升对探索不足项目表征的质量。
• Multi-CLRec 在 CLRec 的基础上引入多队列设计，以建模多种用户意图，实现更精准、意图感知的去偏。
• 与先前方法不同，该方法无需训练独立的倾向性估计器，同时在大规模场景下仍保持高效。

实验结果

研究问题

• RQ1 在推荐系统背景下，对比学习能否在理论上与逆倾向加权（IPW）建立联系？
• RQ2 如何高效地将对比学习应用于具有十亿量级候选集的大规模 DCG 系统，以减少曝光偏差？
• RQ3 基于队列的机制能否在不牺牲训练速度的前提下，实现高效且有效的负样本编码？
• RQ4 所提出的方法是否能减少马修效应，并提升候选生成阶段的公平性与多样性？
• RQ5 该方法能否扩展以建模多种用户意图，实现更精准的去偏？

主要发现

• CLRec 显著降低了候选生成中的马修效应，表现为推荐结果中热门项目的主导性大幅下降。
• 在公开基准数据集（ML-1M、Beauty、Steam）上的离线分析显示，与采样 Softmax 相比，CLRec 检索到的项目多样性更高，整体多样性提升达 30%–50%。
• 在淘宝四个月的在线 A/B 测试中，CLRec 显著提升了公平性与推荐效果，显著降低了流行度偏差。
• 基于队列的设计在队列大小为批次大小 10 倍时，计算成本降低高达 90%，从而实现了对负样本丰富特征的高效利用。
• Multi-CLRec 通过建模多种用户意图进一步提升性能，带来更精准、更公平的推荐结果。
• 对比损失与 IPW 之间的理论等价性，为对比学习在去偏推荐系统中的有效性提供了新的解释。