[论文解读] Cache-Augmented Inbatch Importance Resampling for Training Recommender Retriever

Jin Chen, Defu Lian+4 more|arXiv (Cornell University)|May 30, 2022

Recommender Systems and Techniques被引用 4

一句话总结

该论文提出ChiIR，一种用于训练推荐检索模型的缓存增强型批内重要性重采样方法，通过基于查询相关相似度分数自适应地重采样负样本，并维护一个频繁采样的高相似度项目动态缓存，从而提高Softmax估计的准确性。该方法减少了训练偏差并加速了收敛，在五个真实世界数据集上实现了最先进性能，NDCG@10相对提升最高达4.87%。

ABSTRACT

Recommender retrievers aim to rapidly retrieve a fraction of items from the entire item corpus when a user query requests, with the representative two-tower model trained with the log softmax loss. For efficiently training recommender retrievers on modern hardwares, inbatch sampling, where the items in the mini-batch are shared as negatives to estimate the softmax function, has attained growing interest. However, existing inbatch sampling based strategies just correct the sampling bias of inbatch items with item frequency, being unable to distinguish the user queries within the mini-batch and still incurring significant bias from the softmax. In this paper, we propose a Cache-Augmented Inbatch Importance Resampling (XIR) for training recommender retrievers, which not only offers different negatives to user queries with inbatch items, but also adaptively achieves a more accurate estimation of the softmax distribution. Specifically, XIR resamples items for the given mini-batch training pairs based on certain probabilities, where a cache with more frequently sampled items is adopted to augment the candidate item set, with the purpose of reusing the historical informative samples. XIR enables to sample query-dependent negatives based on inbatch items and to capture dynamic changes of model training, which leads to a better approximation of the softmax and further contributes to better convergence. Finally, we conduct experiments to validate the superior performance of the proposed XIR compared with competitive approaches.

研究动机与目标

• 为解决推荐检索模型在批内采样中存在显著偏差的问题，该方法避免对所有查询一视同仁，从而无法准确逼近真实的Softmax分布。
• 通过在每个小批量内实现基于查询的负样本采样，而非在所有查询间共享同一组负样本，从而提升模型收敛速度。
• 通过引入历史上具有信息量的高相似度项目缓存作为增强负样本，减少Softmax损失的近似误差。
• 在不依赖均匀采样或静态流行度基负样本的前提下，实现更高的训练效率与有效性。

提出的方法

• ChiIR基于查询特定的相似度分数和项目流行度，对批内项目执行重要性重采样，生成基于查询的负样本集合。
• 提出一种动态缓存机制，用于在训练周期中存储频繁采样的项目——通常为高相似度的难负样本——以增强候选负样本集合。
• 采样概率基于一种改进的Softmax权重计算得出，该权重结合了相似度分数与基于流行度的去偏机制，以减少采样偏差。
• 缓存通过固定大小的缓冲区实时更新，优先保留采样频率更高的项目，这些项目对模型训练更具信息量。
• 该方法可无缝集成至双塔模型中，且与深度特征塔兼容，支持复杂的项目表征。
• 通过结合批内自适应性与对信息性样本的长期记忆，实现对完整Softmax分布更精确的估计。

实验结果

研究问题

• RQ1 批内采样能否被改进，以提供更贴近真实Softmax分布的、基于查询的负样本？
• RQ2 将频繁采样的项目动态缓存引入后，对推荐检索模型的收敛性和性能有何影响？
• RQ3 与均匀采样或基于流行度的采样相比，采用缓存的重要性重采样在多大程度上可减少梯度估计偏差？
• RQ4 当每批次采样项目数量减少时，该方法是否仍能保持或提升性能，从而实现更高效的训练？

主要发现

• 在Tmall数据集上，使用深度特征塔时，ChiIR在NDCG@10上相较SSL-Pop实现4.87%的相对提升，证明了其在复杂表征下的强大有效性。
• 仅重采样批内1/64的项目即可达到或超越全批量采样的性能，表明该方法具有极高的训练效率。
• 缓存中的项目分布显著偏离长尾流行度分布，更倾向于选择更具信息量的高相似度项目，减少对稀有项目的偏差。
• 缓存大小对性能有直接影响：当缓存大小从0.5倍批量大小增加到4倍时，推荐质量得到提升，且在更大缓存规模下观察到最优增益。
• 梯度计算时间随重采样项目数量的减少而成比例下降，证实了该方法在降低计算成本方面的高效潜力。
• 在五个公开数据集上，该方法均优于BIR与SSL-Pop，验证了其在准确率与收敛速度方面的优越性。