[论文解读] A Multi-Objective Learning to re-Rank Approach to Optimize Online Marketplaces for Multiple Stakeholders

Phong Nguyen, John Dines+1 more|arXiv (Cornell University)|Aug 2, 2017

Advanced Bandit Algorithms Research参考文献 1被引用 16

一句话总结

本文提出了一种新颖的端到端重排序学习框架，通过重新排序以消费者为中心的推荐结果，优化在线市场平台中消费者、供应商和中介方的多方利益，从而在提升客户转化率的同时增加平台收入。该方法采用核化Kendall tau距离作为正则化项，在保持或提升客户相关性的同时，实现比业务规则基线更高的50%+奖励率。

ABSTRACT

Multi-objective recommender systems address the difficult task of recommending items that are relevant to multiple, possibly conflicting, criteria. However these systems are most often designed to address the objective of one single stakeholder, typically, in online commerce, the consumers whose input and purchasing decisions ultimately determine the success of the recommendation systems. In this work, we address the multi-objective, multi-stakeholder, recommendation problem involving one or more objective(s) per stakeholder. In addition to the consumer stakeholder, we also consider two other stakeholders; the suppliers who provide the goods and services for sale and the intermediary who is responsible for helping connect consumers to suppliers via its recommendation algorithms. We analyze the multi-objective, multi-stakeholder, problem from the point of view of the online marketplace intermediary whose objective is to maximize its commission through its recommender system. We define a multi-objective problem relating all our three stakeholders which we solve with a novel learning-to-re-rank approach that makes use of a novel regularization function based on the Kendall tau correlation metric and its kernel version; given an initial ranking of item recommendations built for the consumer, we aim to re-rank it such that the new ranking is also optimized for the secondary objectives while staying close to the initial ranking. We evaluate our approach on a real-world dataset of hotel recommendations provided by Expedia where we show the effectiveness of our approach against a business-rules oriented baseline model.

研究动机与目标

• 解决在线市场平台中消费者、供应商和中介方目标冲突的多利益相关者推荐问题。
• 开发一种学习重排序框架，对以消费者为中心的推荐结果进行重排序，以同时满足中介方利润和供应商表现等次要目标。
• 提出一种基于核化Kendall tau度量的新型正则化函数，以在优化次要目标的同时保持推荐的相关性。
• 在Expedia提供的真实世界酒店推荐数据集上评估该方法，验证其在客户转化率与平台收入之间的权衡优化效果。
• 提供一种机器学习替代方案，以取代当前导致多方绩效下降的临时性业务规则。

提出的方法

• 该方法将问题建模为学习重排序任务，初始排序基于消费者相关性（如点击率和预订率）进行优化。
• 提出一种基于核化Kendall tau度量的新型正则化项，确保重排序后的输出与原始消费者优化排序保持接近。
• 将优化问题表述为各利益相关方目标（如客户转化率CVR与中介方利润）的线性组合，权重通过梯度下降法学习。
• 采用矩阵分解作为底层推荐模型，并从特征中排除酒店价格，以避免数据泄露至利润目标。
• 使用线性搜索基线（LS）模型进行对比，该模型同样采用Sigmoid加权聚合目标，但未引入核化Kendall tau正则化。
• 评估指标包括NDCG@10和一种风险敏感度量，用于衡量LRR方法在各项指标上优于基线的查询比例。

实验结果

研究问题

• RQ1 学习重排序框架能否有效平衡在线市场平台中消费者相关性与中介方盈利能力？
• RQ2 基于核化Kendall tau的正则化方法相较于启发式业务规则，在相关性与次要目标之间的权衡上表现如何？
• RQ3 所提方法在客户转化率与平台收入方面，相较于最先进基线模型的性能提升程度如何？
• RQ4 该方法在多样化搜索查询中，是否能在显著提升中介方利润的同时保持消费者相关性？
• RQ5 该方法能否推广至包含更多利益相关方目标（如供应商可预订性与价格竞争力）？

主要发现

• 所提出的LRR方法在中介方利润目标上的NDCG@10相比原始消费者优化排序提升了16.7%。
• LRR方法在客户偏好（点击+预订）上的NDCG@10仅下降5.9%，在风险-收益平衡方面优于基线。
• 在风险敏感度量下，LRR方法在利润目标上的奖励率超过50%，表明其在超过一半的查询中优于基线。
• LRR方法在两项指标上的系统性风险（即损失次数）均低于奖励次数，显示出对基线的持续改进。
• 该方法在客户转化率与平台收入之间实现了有利的权衡，表明其可在不牺牲用户体验的前提下提升整体平台盈利能力。
• 结果表明，核化Kendall tau正则化能有效保持相关性，同时实现对次要目标的优化，优于经过严格A/B测试的基线。