[论文解读] Exploration in two-stage recommender systems

Jiri Hron, Karl Krauth+2 more|arXiv (Cornell University)|Sep 1, 2020

Advanced Bandit Algorithms Research参考文献 7被引用 4

一句话总结

本文指出，在两级推荐系统中直接部署LinUCB会导致线性遗憾，原因是提名者与排序器之间在特征嵌入和数据正则化方面存在不匹配。本文提出一种简单的同步方法，仅利用现有的LinUCB计算，通过同步后验统计量（均值与协方差）来对齐两阶段的统计信息，从而减少遗憾并实现接近单阶段LinUCB的近优性能。

ABSTRACT

Two-stage recommender systems are widely adopted in industry due to their scalability and maintainability. These systems produce recommendations in two steps: (i) multiple nominators preselect a small number of items from a large pool using cheap-to-compute item embeddings; (ii) with a richer set of features, a ranker rearranges the nominated items and serves them to the user. A key challenge of this setup is that optimal performance of each stage in isolation does not imply optimal global performance. In response to this issue, Ma et al. (2020) proposed a nominator training objective importance weighted by the ranker's probability of recommending each item. In this work, we focus on the complementary issue of exploration. Modeled as a contextual bandit problem, we find LinUCB (a near optimal exploration strategy for single-stage systems) may lead to linear regret when deployed in two-stage recommenders. We therefore propose a method of synchronising the exploration strategies between the ranker and the nominators. Our algorithm only relies on quantities already computed by standard LinUCB at each stage and can be implemented in three lines of additional code. We end by demonstrating the effectiveness of our algorithm experimentally.

研究动机与目标

• 探究为何标准LinUCB探索策略在两级推荐系统中失效。
• 识别次优性能的根本原因，特别是提名者与排序器之间特征映射不匹配及数据正则化差异。
• 提出一种低复杂度解决方案，通过同步两阶段之间的推断统计量，恢复近优探索性能。
• 通过实验验证同步机制可缓解线性遗憾，并在模拟环境中提升遗憾性能。
• 将洞察拓展至其他“面对不确定性时的乐观”算法，强调跨阶段统计一致性的重要性。

提出的方法

• 该方法引入一个同步步骤，利用排序器的不确定性估计更新提名者的后验分布，具体匹配逆协方差矩阵与均值。
• 通过基于KL散度的更新实现同步，惩罚过度离散化，确保提名者的不确定性不超过排序器。
• 仅使用LinUCB选择与更新步骤中已计算的量，额外代码仅需三行。
• 探索了两种变体：标准更新后同步（后同步）与更新前同步（前同步），实验表明两者性能几乎相同。
• 核心公式（公式7）确保每次提名后，提名者的后验分布与排序器对该项目的后验完全一致，防止不确定性估计的发散。
• 该方法对具体LinUCB实现保持无关性，可应用于任何使用贝叶斯线性Bandits的两级系统。

实验结果

研究问题

• RQ1 为何在两级推荐系统中直接部署LinUCB会导致线性遗憾？
• RQ2 提名者与排序器之间在特征表示和训练数据量上的不匹配如何影响探索性能？
• RQ3 能否通过同步两阶段之间的后验统计量，恢复两级LinUCB的近优遗憾性能？
• RQ4 此类同步的计算开销如何？是否可实现极简代码扩展？
• RQ5 该同步方法是否可推广至其他“面对不确定性时的乐观”探索算法？

主要发现

• 直接部署两级LinUCB会导致线性遗憾，其根本原因在于提名者与排序器之间不确定性估计的发散。
• 遗憾的主要成因是特征嵌入不匹配以及两阶段间正则化水平差异（即训练数据量不同）。
• 通过在排序器与提名者之间同步后验统计量（特别是均值与协方差），可有效消除遗憾差距。
• 所提算法的遗憾性能可与已知近优的单阶段LinUCB相媲美。
• 前同步与后同步变体在实验中表现几乎一致，计算开销极低。
• 该方法在不同预训练程度（γ）下均表现稳健，γ值越高，同步系统的性能越好。