[論文レビュー] Can you Trust the Trend: Discovering Simpson's Paradoxes in Social Data

Nazanin Alipourfard, Peter G. Fennell+1 more|arXiv (Cornell University)|Jan 13, 2018

Topic Modeling参考文献 13被引用数 6

ひとこと要約

本稿では、集計データと個別サブグループの傾向を比較することで、社会的データにおけるシンプソンのパラドックスを自動的に検出する統計的手法を提案する。この手法は、第2の変数で条件付けた際に傾向が逆転する『シンプソンのペア』—傾向が逆転する変数のペア—を同定し、Stack Exchangeのデータに適用することで、既知のものと新しいパラドックスを特定した。これにより、回答者のパフォーマンスに隠れたパターンが明らかになり、たとえば前回の回答からの経過時間が集計レベルでは逆に影響を及ぼす一方で、サブグループレベルでは逆の影響を及ぼすことが判明した。

ABSTRACT

We investigate how Simpson's paradox affects analysis of trends in social data. According to the paradox, the trends observed in data that has been aggregated over an entire population may be different from, and even opposite to, those of the underlying subgroups. Failure to take this effect into account can lead analysis to wrong conclusions. We present a statistical method to automatically identify Simpson's paradox in data by comparing statistical trends in the aggregate data to those in the disaggregated subgroups. We apply the approach to data from Stack Exchange, a popular question-answering platform, to analyze factors affecting answerer performance, specifically, the likelihood that an answer written by a user will be accepted by the asker as the best answer to his or her question. Our analysis confirms a known Simpson's paradox and identifies several new instances. These paradoxes provide novel insights into user behavior on Stack Exchange.

研究の動機と目的

• 集計された社会的データから誤った結論を導くリスクを軽減すること。
• サブグループにデータを分解した際に傾向が逆転する事例を体系的に検出する手法を開発すること。
• 特に質問・回答プラットフォームのようなStack Exchangeのようなオンラインユーザーパフォーマンスにおける隠れた行動パターンを同定・分析すること。
• 標準的な多変量モデルが、分解によってのみ明らかになる重要なサブグループレベルのトレンドを逃すことがあることを示すこと。
• 研究者が社会的データ分析においてシンプソンのパラドックスを検出し、それを考慮するための実用的ツールを提供すること。

提案手法

• この手法は、ある変数における結果変数のトレンドが、第2の変数で条件付けた際に逆転または消失する『シンプソンのペア』—トレンドが逆転する変数のペア—を同定する。
• 集計データと条件付け変数で定義されたサブグループにおける統計的トレンド（例：ロジスティック回帰の係数）を比較する。
• サブグループ間での線形トレンド係数の符号比較を用いてトレンドの逆転を検出する。特に、回答受容の有無のような二値結果に焦点を当てる。
• データを条件付け変数に基づいてサブグループに分割し、各サブグループでトレンドパラメータを別々に推定する。
• サブグループの結果を、サイズにかかわらず等重みで平均する方法で集約し、符号の平均をとることで、サブグループのトレンド傾向を評価する。
• 2つの必須条件に依存する：(1) 独立変数と条件付け変数の間の相関、および (2) サブグループ間での結果値のばらつき。

実験結果

リサーチクエスチョン

• RQ1 前回の回答からの経過時間に伴う回答受容確率のトレンドは、すべてのユーザ行動サブグループで一貫して成立するか？
• RQ2 ユーザ行動パターンでデータを分解した際に、集計データのトレンドが逆転する事例を検出できるか？
• RQ3 回答位置などのユーザ活動パターンを条件付けた場合、時間的トレンドの解釈にどのような影響を与えるか？
• RQ4 標準的な多変量モデルが、分解によってのみ明らかになるサブグループレベルのトレンドをどの程度欠落させるか？
• RQ5 回答受容パターンにおけるシンプソンのパラドックスを同定することで、Stack Exchangeにおけるユーザ行動にどのような新たな知見が得られるか？

主な発見

• この手法は、集計データでは回答者が会話中に時間が経つにつれてパフォーマンスが低下するが、短期サブグループでは向上するという、既知のシンプソンのパラドックスを正当に確認した。
• 本手法により、未知のシンプソンのペアが同定された：『前回の回答からの経過時間』と『回答位置』のペアで、短時間スケールではトレンドが逆転する。
• 『回答位置 = 1』（長時間のブレイク）では、前回の回答からの経過時間が長いほど回答受容確率が低下し、優れたユーザが短いブレイクをとっていると示唆される。
• 『回答位置 > 1』（短いブレイク）では、前回の回答からの経過時間が長いほど回答受容確率が上昇し、ユーザーが一時停止を短くとる場合に高品質な回答が得られることを示している。
• 多変量ロジスティック回帰は、このパラドックスを検出できなかった。これは、大多数のグループ（長時間ブレイク）が減少トレンドを示しており、その影響が支配的だったためである。
• シンプソンのペアに由来する変数を組み合わせた新しい特徴量を作成することで、回答者パフォーマンスのより頑健な代理指標が得られ、パラドックス検出の手法がモデル設計に有用であることが示された。