[论文解读] A Two-Part Machine Learning Approach to Characterizing Network Interference in A/B Testing

Yuan Yuan, Kristen M. Altenburger|arXiv (Cornell University)|Aug 18, 2023

Social Media and PoliticsSocial Sciences被引用 3

一句话总结

本文提出一种两阶段机器学习方法，通过引入'因果网络基序'并使用可解释模型自动实现暴露映射，以检测和表征A/B测试中的异质性网络干扰。在包含100万至200万Instagram用户的模拟和真实世界测试中，该方法优于传统的聚类随机化和邻域暴露映射等方法。

ABSTRACT

The reliability of controlled experiments, commonly referred to as "A/B tests," is often compromised by network interference, where the outcomes of individual units are influenced by interactions with others. Significant challenges in this domain include the lack of accounting for complex social network structures and the difficulty in suitably characterizing network interference. To address these challenges, we propose a machine learning-based method. We introduce "causal network motifs" and utilize transparent machine learning models to characterize network interference patterns underlying an A/B test on networks. Our method's performance has been demonstrated through simulations on both a synthetic experiment and a large-scale test on Instagram. Our experiments show that our approach outperforms conventional methods such as design-based cluster randomization and conventional analysis-based neighborhood exposure mapping. Our approach provides a comprehensive and automated solution to address network interference for A/B testing practitioners. This aids in informing strategic business decisions in areas such as marketing effectiveness and product customization.

研究动机与目标

• 为解决A/B测试中的网络干扰问题，该问题会因违反稳定单位处理值假设（SUTVA）而损害因果推断的有效性。
• 通过自动化识别干扰模式，克服现有方法的局限性，特别是手动或僵化的暴露映射方式以及对强参数假设的依赖。
• 开发一种可扩展、可解释的框架，以表征大规模数字平台中复杂网络结构下的异质性干扰。
• 通过揭示潜在的干扰机制，支持对过去A/B测试的回溯分析，并指导未来实验设计。

提出的方法

• 引入'因果网络基序'作为可解释的结构性特征，代表网络中反复出现的干扰模式，从而为机器学习模型提供特征工程支持。
• 应用透明、可解释的机器学习模型（如决策树或广义线性模型）从观测到的处理和结果数据中学习暴露映射函数。
• 采用两阶段框架：第一阶段，从网络拓扑中挖掘因果网络基序；第二阶段，基于这些基序训练机器学习模型，以预测暴露条件并估计处理效应。
• 在合成网络（Watts-Strogatz和Slashdot）和大规模Instagram A/B测试的真实世界数据（涉及100万至200万用户）上进行基于仿真的验证。
• 与传统方法（如基于设计的聚类随机化和基于分析的邻域暴露映射）进行性能对比验证。
• 通过模型可解释性，使实践者能够理解并响应识别出的干扰模式，从而支持产品和市场策略中的决策。

实验结果

研究问题

• RQ1 如何在不依赖预设暴露映射的前提下，自动识别并表征A/B测试中的异质性网络干扰模式？
• RQ2 在存在复杂干扰的情况下，因果网络基序在多大程度上能提升处理效应估计的准确性？
• RQ3 在存在干扰的情况下，基于机器学习的方法是否能优于传统基于设计和基于分析的方法，以更准确估计全局平均处理效应？
• RQ4 干扰模式在不同网络结构中如何变化？该方法是否能在多种多样的网络拓扑上实现泛化？

主要发现

• 所提出的方法在合成实验和真实世界实验中均显著优于传统方法，如基于设计的聚类随机化和基于分析的邻域暴露映射。
• 在涉及100万至200万Instagram用户的大型A/B测试中，该方法在估计处理效应方面表现出更优的精度，有效降低了网络干扰带来的偏差。
• 因果网络基序的使用使研究者能够识别出标准暴露映射技术所遗漏的非平凡干扰模式。
• 该方法在多种网络类型（包括Watts-Strogatz和Slashdot网络）中均表现出稳健性能，证实了其泛化能力。
• 透明的机器学习模型提供了可解释的暴露映射，使实践者能够理解并优化干预策略。
• 该方法支持对过去实验的回溯分析，揭示了隐藏的干扰效应，并为未来A/B测试的设计提供了改进依据。