[论文解读] AliExpress Learning-To-Rank: Maximizing Online Model Performance without Going Online

Guangda Huzhang, Zhen-Jia Pang+9 more|arXiv (Cornell University)|Mar 25, 2020

Optimization and Search Problems参考文献 41被引用 5

一句话总结

本文提出 Evaluator-Generator 重排序（EG-Rerank）框架，以解决电商排序系统中离线-在线性能不一致的问题。通过训练一个上下文感知的评估器来预测在线性能，并利用强化学习训练生成器以优化评估器得分，该方法在在线 A/B 测试中相较工业基线实现 2.22% 的转化率提升，表明评估器得分比传统离线指标更贴近真实世界表现。

ABSTRACT

Learning-to-rank (LTR) has become a key technology in E-commerce applications. Most existing LTR approaches follow a supervised learning paradigm from offline labeled data collected from the online system. However, it has been noticed that previous LTR models can have a good validation performance over offline validation data but have a poor online performance, and vice versa, which implies a possible large inconsistency between the offline and online evaluation. We investigate and confirm in this paper that such inconsistency exists and can have a significant impact on AliExpress Search. Reasons for the inconsistency include the ignorance of item context during the learning, and the offline data set is insufficient for learning the context. Therefore, this paper proposes an evaluator-generator framework for LTR with item context. The framework consists of an evaluator that generalizes to evaluate recommendations involving the context, and a generator that maximizes the evaluator score by reinforcement learning, and a discriminator that ensures the generalization of the evaluator. Extensive experiments in simulation environments and AliExpress Search online system show that, firstly, the classic data-based metrics on the offline dataset can show significant inconsistency with online performance, and can even be misleading. Secondly, the proposed evaluator score is significantly more consistent with the online performance than common ranking metrics. Finally, as the consequence, our method achieves a significant improvement ( extgreater$2\%$) in terms of Conversion Rate (CR) over the industrial-level fine-tuned model in online A/B tests.

研究动机与目标

• 为解决电商排序模型中长期存在的离线-在线性能不一致问题，即强离线指标无法转化为更好的在线表现。
• 开发一种能反映实际在线用户行为的可靠离线评估指标，尤其在受上下文敏感效应（如诱饵效应）影响时。
• 在无需昂贵在线 A/B 测试的情况下，优化排序策略以实现真实世界目标（如转化率）。
• 通过可泛化的评估器引导强化学习，实现有效重排序，避免对静态离线数据的过拟合。

提出的方法

• 该框架引入一个基于离线数据训练的评估器模型，用于在给定排序列表时预测用户购买概率，捕捉如诱饵效应等上下文效应。
• 通过强化学习训练生成器模型，以最大化评估器预测的性能，探索非贪婪且富有创造性的物品排序方式。
• 使用判别器通过提供自信心分数来提升评估器的泛化能力，确保在分布外排序上的鲁棒性。
• 评估器得分作为在线性能的代理指标，使模型选择与超参数调优无需在线部署即可完成。
• 生成器采用策略梯度方法进行训练，其中奖励信号来自评估器的输出，从而实现对复杂排列空间的探索。
• 通过仿真和在速卖通上的大规模 A/B 测试验证该框架，在生产负载下持续监控延迟与性能。

实验结果

研究问题

• RQ1 标准离线排序指标（如 AUC、NDCG）与电商排序中实际在线表现的相关性如何？
• RQ2 学习得到的评估器模型能否泛化到预测未见物品排序的在线表现，尤其是涉及上下文效应的情况？
• RQ3 通过评估器引导的强化学习训练重排序模型，是否能带来比监督基线更高的在线转化率？
• RQ4 评估器得分能否作为在线性能的可靠代理，从而减少对昂贵在线 A/B 测试的依赖？

主要发现

• 经典离线指标（如在线 GAUC）与实际在线转化率之间存在显著不一致，某项策略尽管 GAUC 最高，但转化率却低了 8.45%。
• 所提出的评估器得分与在线转化率的相关性远强于传统指标，使其成为更可靠的离线评估代理。
• EG-Rerank 在长期 A/B 测试中相较工业基线（RankNet*）实现 2.22% 的转化率提升，p 值为 0.011，表明具有统计显著性。
• 该框架保持了低延迟（平均 115ms），仅比基线增加 9ms，表明其在生产系统中的实际可部署性。
• 评估器得分能高精度预测在线表现，A/B 测试中评估器得分与实际转化率差距高度一致，验证了其预测能力。
• EG-Rerank+ 进一部实现 0.63% 的转化率提升，证实了所提框架的鲁棒性与可扩展性。