[论文解读] Can you Trust the Trend: Discovering Simpson's Paradoxes in Social Data

Nazanin Alipourfard, Peter G. Fennell+1 more|arXiv (Cornell University)|Jan 13, 2018

Topic Modeling参考文献 13被引用 6

一句话总结

本文提出一种统计方法，通过比较聚合数据与分组子群的趋势，自动检测社会数据中的辛普森悖论。该方法识别出‘辛普森对’——即在对第二个变量进行条件化时趋势发生反转的变量对——并将其应用于Stack Exchange数据，发现了已知及新颖的悖论，揭示了回答者表现中的隐藏模式，例如‘自上次回答以来的时间’在聚合层面与子群层面具有相反的影响。

ABSTRACT

We investigate how Simpson's paradox affects analysis of trends in social data. According to the paradox, the trends observed in data that has been aggregated over an entire population may be different from, and even opposite to, those of the underlying subgroups. Failure to take this effect into account can lead analysis to wrong conclusions. We present a statistical method to automatically identify Simpson's paradox in data by comparing statistical trends in the aggregate data to those in the disaggregated subgroups. We apply the approach to data from Stack Exchange, a popular question-answering platform, to analyze factors affecting answerer performance, specifically, the likelihood that an answer written by a user will be accepted by the asker as the best answer to his or her question. Our analysis confirms a known Simpson's paradox and identifies several new instances. These paradoxes provide novel insights into user behavior on Stack Exchange.

研究动机与目标

• 解决因辛普森悖论导致从聚合社会数据中得出错误结论的风险。
• 开发一种系统化方法，用于检测数据按子群分解时趋势发生反转的情形。
• 识别并分析在线用户表现中的隐藏行为模式，特别是问答平台（如Stack Exchange）上的表现。
• 证明标准多元模型可能忽略仅通过分解才能揭示的关键子群趋势。
• 为研究人员提供一种实用工具，用于检测和应对社会数据分析中的辛普森悖论。

提出的方法

• 该方法识别出‘辛普森对’——即在对第二个变量进行条件化时，结果变量在某一变量上的趋势发生反转或消失的变量对。
• 比较在聚合数据与按条件变量定义的子群中统计趋势（例如，逻辑回归系数）的差异。
• 通过比较子群中线性趋势系数的符号来检测趋势反转，重点关注二元结果（如答案被接受）。
• 根据条件变量将数据分箱为子群，并分别为每个子群单独估计趋势参数。
• 通过平均各子群趋势系数的符号来聚合子群结果，确保各子群在计算中获得相等权重，无论其大小如何。
• 该方法依赖于两个必要条件：(1) 自变量与条件变量之间存在相关性，(2) 结果值在子群之间存在差异。

实验结果

研究问题

• RQ1 自上次回答以来的时间对答案接受概率的影响趋势，在所有用户行为子群中是否保持一致？
• RQ2 我们能否检测到在按用户行为模式分解数据时，答案质量指标的聚合趋势发生反转的情形？
• RQ3 对用户活跃模式（如回答位置）进行条件化，如何影响对基于时间的性能趋势的解释？
• RQ4 标准多元模型在多大程度上未能捕捉到仅通过分解才能揭示的子群趋势？
• RQ5 通过识别答案接受模式中的辛普森悖论，我们能从Stack Exchange用户行为中获得哪些新见解？

主要发现

• 该方法成功验证了一个已知的辛普森悖论：在聚合层面观察时，回答者表现随会话时间推移而下降，但在短期子群中则呈现改善趋势。
• 该方法发现了一个新颖的辛普森对：‘自上次回答以来的时间’与‘回答位置’，其趋势在短时间尺度上发生反转。
• 对于‘回答位置 = 1’（长时间间隔）的情况，自上次回答以来的时间越长，答案被接受的概率越低，表明表现更好的用户会采取更短的休息时间。
• 对于‘回答位置 > 1’（短时间间隔）的情况，自上次回答以来的时间越长，答案被接受的概率越高，表明用户在短暂停顿后能提交更高质量的答案。
• 多元逻辑回归未能检测到该悖论，因为它被大多数群体（长时间间隔）所主导，而该群体显示出下降趋势。
• 通过将辛普森对中的变量组合创建新特征，可得到更稳健的答案者表现代理指标，凸显了悖论检测在模型设计中的实用性。