[论文解读] Fairness through Experimentation: Inequality in A/B testing as an approach to responsible design

Guillaume Saint-Jacques, Amir Sepehri+2 more|arXiv (Cornell University)|Feb 14, 2020

Experimental Behavioral Economics Studies参考文献 13被引用 5

一句话总结

本文提出将不平等度量（采用阿特金森指数）整合到A/B测试中，以评估产品变更在传统算法偏见之外的公平性和包容性。通过将因果推断应用于阿特金森指数，该方法可检测用户子群体中未预期的不平等影响，即使平均指标未发生变化。该方法已在领英大规模部署，用于识别现实实验中提升公平性或造成负面影响的功能。

ABSTRACT

As technology continues to advance, there is increasing concern about individuals being left behind. Many businesses are striving to adopt responsible design practices and avoid any unintended consequences of their products and services, ranging from privacy vulnerabilities to algorithmic bias. We propose a novel approach to fairness and inclusiveness based on experimentation. We use experimentation because we want to assess not only the intrinsic properties of products and algorithms but also their impact on people. We do this by introducing an inequality approach to A/B testing, leveraging the Atkinson index from the economics literature. We show how to perform causal inference over this inequality measure. We also introduce the concept of site-wide inequality impact, which captures the inclusiveness impact of targeting specific subpopulations for experiments, and show how to conduct statistical inference on this impact. We provide real examples from LinkedIn, as well as an open-source, highly scalable implementation of the computation of the Atkinson index and its variance in Spark/Scala. We also provide over a year's worth of learnings -- gathered by deploying our method at scale and analyzing thousands of experiments -- on which areas and which kinds of product innovations seem to inherently foster fairness through inclusiveness.

研究动机与目标

• 解决传统算法公平性方法仅关注受保护类别和内在算法属性的局限性。
• 检测产品功能带来的未预期不平等影响，特别是对社会资本、网络强度或访问能力的影响，超越平均指标的变化。
• 开发一种可扩展的基于实验的方法，衡量产品变更对用户子群体间参与度不平等的影响。
• 提供一个框架，用于识别并标记那些无意中增加或减少不平等的功能，即使其平均影响为中性。
• 通过支持组织在产品发布前主动评估包容性影响，推动负责任的设计。

提出的方法

• 将经济学中的阿特金森指数适配用于量化用户参与度中的不平等，重点关注前1%用户所占份额作为关键公平性指标。
• 应用因果推断技术，估计A/B测试中处理组与对照组之间阿特金森指数的差异。
• 使用解析方法推导阿特金森指数的方差估计，从而实现对不平等影响的统计推断。
• 提出“全站不平等影响”概念，用于聚合整个平台范围内各实验层面的不平等效应。
• 开发了高度可扩展的Spark/Scala实现，用于在大规模生产实验中计算阿特金森指数及其方差。
• 利用该方法分析数千个实验，识别出哪些功能会增加或减少不平等。

实验结果

研究问题

• RQ1 如何将A/B测试扩展为不仅测量平均处理效应，还能测量用户参与度中的不平等影响？
• RQ2 阿特金森指数能否作为检测产品变更公平性后果的稳健且可解释的度量指标？
• RQ3 在平均值上看似中性的功能，其对高度活跃或参与度较低用户是否仍会产生不成比例的影响？
• RQ4 哪些类型的产品干预措施——如通知、引导流程或性能优化——往往会导致参与度不平等的增加或减少？
• RQ5 组织如何系统性地检测并响应其实验管道中未预期的不平等影响？

主要发现

• 当通知针对参与度最低的用户时，显著降低了参与度不平等，例如在入职引导中通过提醒措施提升了高风险新用户的早期留存率。
• 对高度活跃用户实施通知分批处理，通过减少干扰性提醒的数量，降低了不平等，表明用户体验设计选择也具有公平性影响。
• 提升网站速度和可靠性，特别是低带宽LinkedIn应用，对参与度较低的用户产生了不成比例的积极影响，从而减少了不平等。
• 增强社会资本的功能——如网络可见性或分享工具——通常会增加不平等，因为拥有更强网络的用户受益更多。
• 超过60%具有显著不平等影响的实验最初在平均指标上被判定为中性，凸显了在平均效应之外监控不平等的重要性。
• 该方法成功在实时中识别出不平等影响的正负两方面，导致一些在平均结果中性但加剧不平等的功能被取消。