[论文解读] A/B Testing of Auctions

Shuchi Chawla, Jason D. Hartline+1 more|arXiv (Cornell University)|Jun 2, 2016

Auction Theory and Applications参考文献 19被引用 4

一句话总结

本文提出了一种拍卖A/B测试的新方法，可在竞标者不知情的情况下准确估算收入，避免因混合均衡行为导致的干扰。通过将复合机制建模为A与B的凸组合，作者推导出一种误差界随 log(1/ε) 而非 1/√ε 增长的估计器，从而在B被极少触发（ε < 1/N）时仍能实现可靠的比较。

ABSTRACT

For many application areas A/B testing, which partitions users of a system into an A (control) and B (treatment) group to experiment between several application designs, enables Internet companies to optimize their services to the behavioral patterns of their users. Unfortunately, the A/B testing framework cannot be applied in a straightforward manner to applications like auctions where the users (a.k.a., bidders) submit bids before the partitioning into the A and B groups is made. This paper combines auction theoretic modeling with the A/B testing framework to develop methodology for A/B testing auctions. The accuracy of our method %, assuming the auction is directly comparable to ideal A/B testing where there is no interference between A and B. Our results are based on an extension and improved analysis of the inference method of Chawla et al. (2014).

研究动机与目标

• 解决拍卖A/B测试中的根本挑战：竞标者不知晓自己面对的机制（A或B），导致混合均衡行为，使标准A/B比较失效。
• 开发一种统计估计器，能从在复合机制C下提交的出价中准确恢复目标拍卖机制（如B）的收入，其中C混合了A和B。
• 通过证明估计误差依赖于 log(1/ε) 而非 1/√ε，改进先前的误差界，从而在处理机制B使用频率极低时仍能实现可靠推断。
• 证明比较机制（如 P_B1 > αP_B2）在统计上比估计绝对收入更容易，其误差率随样本量呈指数下降。
• 通过允许使用单一复合机制进行每查询、机制特定的A/B测试，实现拍卖布局（如主线路与侧边栏广告数量）的实际优化。

提出的方法

• 将复合A/B测试机制C建模为现有机制A与处理机制B的凸组合，其中B以概率ε被激活。
• 基于C中来自均衡出价分布的加权顺序统计量估计器，估计目标机制B的收入，利用不同权重下位置拍卖的数学等价性。
• 对均衡出价函数的导数进行精细化分析，以界定从复合机制C中的出价估计k单位拍卖收入时的误差。
• 推导出关键误差界：E[|P̂_k - P_k|] ≤ (40 / √N) × sup_q |x'_k(q)| × (n + log(1/ε))，其中n为位置数，ε为C中B的出现概率。
• 对于机制比较，构建二元分类器 γ = 1{P_B1 > αP_B2}，并证明其误差率在固定α与收入差距下随N（出价数量）呈指数下降。
• 将分析拓展至多机制比较（如从r个机制中选择最优者），证明误差界随 r × exp(−O(Na² / (n³ log(rn/ε)))) 变化，其中a为前两名收入之间的差距。

实验结果

研究问题

• RQ1 当出价在混合A与B的复合机制C下收集时，如何准确估计目标拍卖机制B的收入？
• RQ2 估计误差对复合测试C中机制B被使用概率ε的依赖关系是什么？
• RQ3 我们能否比估计绝对收入更准确地比较两种机制（如B1与B2）的相对表现？若能，误差如何随样本量变化？
• RQ4 在何种条件下，可从不同机制下收集的出价中可靠估计多单位或位置拍卖的收入？
• RQ5 当处理机制使用频率极低（ε < 1/N）时，该方法相比理想A/B测试有何改进？

主要发现

• 所提出的估计器实现的误差界随 log(1/ε) 而非 1/√ε 增长，当处理机制使用频率极低时显著提升了鲁棒性。
• 对于从复合机制C = (1−ε)A + εB中收集的出价，估计k单位拍卖收入的期望绝对误差被限制在 (40 / √N) × sup_q |x'_k(q)| × (n + log(1/ε)) 以内。
• 当通过分类器 γ = 1{P_B1 > αP_B2} 比较两个机制B1与B2时，误差率随样本量N呈指数下降，具体误差界为 exp(−O(Na² / (α²n³ log(n/ε))))，其中 a = |P_B1 − αP_B2|。
• 该方法可仅通过一组在复合机制C下收集的出价，同时估计所有多单位和位置拍卖的收入。
• 在从r个机制中选择最优者时，误差概率被限制在 r × exp(−O(Na² / (n³ log(rn/ε)))) 以内，表明即使存在多个比较，误差仍随N呈指数收敛。
• 该方法在实际场景（如广告布局优化）中尤为有效，可在每查询基础上使用同一复合机制测试主线路与侧边栏广告数量（影响点击权重）的影响。