[论文解读] A/B Testing for Recommender Systems in a Two-sided Marketplace

Preetam Nandy, Divya Venugopalan+2 more|arXiv (Cornell University)|May 29, 2021

Advanced Causal Inference Techniques参考文献 18被引用 9

一句话总结

本文提出 UniCoRn，一种用于双边市场的新型 A/B 测试框架，通过统一冲突的处理分配中的反事实排序，实现对生产者端处理效应的高质量、无偏测量。该框架在无需事先了解网络结构或处理传播假设的前提下，实现了对准确性和计算成本的显式控制，从而实现最优实验设计。

ABSTRACT

Two-sided marketplaces are standard business models of many online platforms (e.g., Amazon, Facebook, LinkedIn), wherein the platforms have consumers, buyers or content viewers on one side and producers, sellers or content-creators on the other. Consumer side measurement of the impact of a treatment variant can be done via simple online A/B testing. Producer side measurement is more challenging because the producer experience depends on the treatment assignment of the consumers. Existing approaches for producer side measurement are either based on graph cluster-based randomization or on certain treatment propagation assumptions. The former approach results in low-powered experiments as the producer-consumer network density increases and the latter approach lacks a strict notion of error control. In this paper, we propose (i) a quantification of the quality of a producer side experiment design, and (ii) a new experiment design mechanism that generates high-quality experiments based on this quantification. Our approach, called UniCoRn (Unifying Counterfactual Rankings), provides explicit control over the quality of the experiment and its computation cost. Further, we prove that our experiment design is optimal to the proposed design quality measure. Our approach is agnostic to the density of the producer-consumer network and does not rely on any treatment propagation assumption. Moreover, unlike the existing approaches, we do not need to know the underlying network in advance, making this widely applicable to the industrial setting where the underlying network is unknown and challenging to predict a priori due to its dynamic nature. We use simulations to validate our approach and compare it against existing methods. We also deployed UniCoRn in an edge recommendation application that serves tens of millions of members and billions of edge recommendations daily.

研究动机与目标

• 解决由于网络依赖性导致 SUTVA 不成立时，在双边市场中测量对生产者处理效应的挑战。
• 开发一种实验设计机制，确保在生产者端测量中具有高准确性和低方差，且不依赖图密度或处理传播假设。
• 对实验质量与计算成本之间的权衡提供显式控制。
• 设计一种适用于动态、现实环境的方法，其中底层生产者-消费者网络未知且持续变化。
• 在为实验质量新定义的不准确性度量下，证明所提设计的最优性。

提出的方法

• 该方法基于处理组与对照组之间暴露分布估计的不准确性，提出一种设计质量度量。
• 构建统一的反事实排序系统，以解决生产者被分配至不同处理变体时产生的冲突。
• 该方法在生产者端采用随机处理分配策略，每种处理变体具有唯一排序，并将这些排序统一为单一一致的排序框架。
• 可在不增加方差的前提下支持更大的处理范围（例如，更高的生产者端处理组），从而提升统计功效。
• 该设计在所定义的不准确性度量下具有可证明的最优性，确保最小估计误差。
• 该框架无需事先了解网络结构，因此适用于动态、实时的市场应用。

实验结果

研究问题

• RQ1 如何在 SUTVA 因网络依赖性而被违反的双边市场中设计 A/B 实验，以准确测量对生产者的处理效应？
• RQ2 是否存在一种原则性且可度量的方法，用于量化生产者端实验设计的质量？
• RQ3 我们能否设计一种实验机制，使其在该质量度量下达到最优，并且独立于图密度或处理传播假设？
• RQ4 在大规模、动态市场中，如何平衡实验准确性与计算成本之间的权衡？
• RQ5 所提方法是否可应用于现实世界系统，而无需事先了解底层网络结构？

主要发现

• UniCoRn 在所提出的不准确性度量下实现了最优实验设计，确保暴露分布估计误差最小化。
• 该方法通过在生产者端支持更大的处理范围而不增加方差，提升了统计功效。
• 仿真与 LinkedIn 的实际部署结果表明，对 WAUs 和会话数产生了积极影响，表明处理效应具有统计显著性。
• 该框架对图密度不敏感，且无需对处理传播或响应对暴露的依赖性做任何假设。
• 该方法无需事先了解网络结构，因此适用于动态、现实世界的市场应用。
• 在测量准确性和鲁棒性方面，该方法优于现有方法，尤其在密集或演化的网络中表现更优。