[论文解读] Inform Product Change through Experimentation with Data-Driven Behavioral Segmentation

Zhenyu Zhao, Yan He+1 more|arXiv (Cornell University)|Jan 25, 2022

Mobile Crowdsensing and Crowdsourcing参考文献 26被引用 4

一句话总结

本文提出了一种数据驱动的行为细分框架，用于网络产品开发中的A/B测试，通过利用实验前用户对产品组件的参与度，创建有意义的用户群体。通过在群体层面分析处理效应，该方法揭示了雅虎财经的界面重构导致关注行情报价和留言板的用户内容量（CPV）下降10.3%——其根本原因是测试组中用户生成内容减少，由此引发的网络效应；随后通过针对性设计修复，使CPV恢复至下降6.1%，APV提升35.1%。

ABSTRACT

Online controlled experimentation is widely adopted for evaluating new features in the rapid development cycle for web products and mobile applications. Measurement of the overall experiment sample is a common practice to quantify the overall treatment effect. In order to understand why the treatment effect occurs in a certain way, segmentation becomes a valuable approach to a finer analysis of experiment results. This paper introduces a framework for creating and utilizing user behavioral segments in online experimentation. By using the data of user engagement with individual product components as input, this method defines segments that are closely related to the features being evaluated in the product development cycle. With a real-world example, we demonstrate that the analysis with such behavioral segments offered deep, actionable insights that successfully informed product decision-making.

研究动机与目标

• 解决A/B测试中处理效应的'原因'问题，超越整体指标变化的分析。
• 开发一种与产品功能相关的、基于行为的用户群体划分方法。
• 通过实验结果的群体层面分析，为产品开发提供可操作的洞察。
• 通过仅使用实验前数据独立定义群体，避免偏差。
• 通过可衡量的改进，展示该框架对实际产品决策的影响。

提出的方法

• 基于用户对特定产品组件（如首页、行情报价、留言板）的参与度，定义行为特征。
• 使用实验前数据，通过无监督学习将用户聚类为互斥且覆盖全面的群体。
• 应用基于距离的聚类方法，根据用户在各功能组件上的参与模式对用户进行分组。
• 通过仅使用实验前行为数据，确保群体定义与实验处理无关。
• 对关键指标（如CPV、APV和会话数）在群体层面进行处理效应分析。
• 通过后续A/B测试验证修复效果，并比较修复前后各群体的实验结果。

Figure 1: BIC and Davies-Bouldin Index for k-means with different number of clusters K

实验结果

研究问题

• RQ1 行为细分如何提升对A/B测试结果的解读，超越聚合指标？
• RQ2 哪些用户参与模式最能预测产品实验中处理效应的差异？
• RQ3 群体层面的洞察如何指导可操作的产品开发决策？
• RQ4 使用实验期间数据定义群体时存在哪些偏差风险？
• RQ5 群体层面分析在多大程度上能揭示意外处理效应的根本原因？

主要发现

• 雅虎财经的界面重构导致整体用户群体CPV显著下降10.3%，主要由'行情报价与留言板'群体造成。
• 群体层面分析显示，'行情报价与留言板'群体CPV的下降源于测试组中用户生成内容减少，这是小样本量引发的网络效应。
• 在首页重新添加报价相关模块后，CPV恢复至仅下降6.1%，且后续测试中APV提升了35.1%。
• 修复后，'首页与混合高'和'首页与混合中'群体改善最为显著，CPV分别提升了9%和6%。
• 修复后整体处理效应依然显著，但群体层面分析对于识别根本原因和指导解决方案至关重要。
• 该框架通过使用实验前数据定义群体，成功避免了偏差，确保了处理组与对照组之间的有效比较。

Figure 2: Average Per-User Metrics for Each Cluster Defined by K-means Algorithm for Yahoo Finance. Green indicates high engagement, while white denotes low engagement. There are a total of $14$ clusters defined by the k-means algorithm. The x-axis shows the cluster label from k-means.