[論文レビュー] Using Simpson's Paradox to Discover Interesting Patterns in Behavioral Data

Nazanin Alipourfard, Peter G. Fennell+1 more|arXiv (Cornell University)|May 8, 2018

Data Mining Algorithms and Applications被引用数 7

ひとこと要約

本稿では、シンプソンのパラドックスを用いてトレンドの逆転を検出することで、異種の行動データにおいて驚くべき行動パターンを明らかにするデータ駆動型手法「シンプソンの不均一化」を提案する。共変量に基づいてデータを部分群に体系的に分割し、結果の分散を最小化することで、集計値とは著しく異なる行動を示すサブポピュレーションを同定し、Khan Academy や Duolingo、Stack Exchange などのプラットフォームにおけるユーザーのパフォーマンスの隠れた非均質性を明らかにする。

ABSTRACT

We describe a data-driven discovery method that leverages Simpson's paradox to uncover interesting patterns in behavioral data. Our method systematically disaggregates data to identify subgroups within a population whose behavior deviates significantly from the rest of the population. Given an outcome of interest and a set of covariates, the method follows three steps. First, it disaggregates data into subgroups, by conditioning on a particular covariate, so as minimize the variation of the outcome within the subgroups. Next, it models the outcome as a linear function of another covariate, both in the subgroups and in the aggregate data. Finally, it compares trends to identify disaggregations that produce subgroups with different behaviors from the aggregate. We illustrate the method by applying it to three real-world behavioral datasets, including Q\&A site Stack Exchange and online learning platforms Khan Academy and Duolingo.

研究の動機と目的

• 大規模かつ異種の行動データにおける探索的分析の課題に対処すること。ここでは、恣意的な手法に比べて原理的根拠を持つ指針を欠いている。
• 集計レベルのトレンドに隠されており、データを非集計化することでのみ明らかになる、驚きの顕著でない行動パターンを同定すること。
• 統計的厳密性を用いて、全体の母集団とは著しく異なる行動を示すサブグループの自動発見を実現すること。
• 行動科学におけるデータ探索のための体系的かつ再現可能な手法を提供すること。特にノイズが多く、スパarsityが高く、アンバランスなデータセットに適している。
• 本手法の実用性を、オンライン学習およびQ&Aプラットフォームにおける実世界の応用事例を通じて示し、スキル、経験、時間的ダイナミクスに関する洞察を明らかにすること。

提案手法

• 本手法は、サブグループ内の結果の分散を最小化する条件付き共変量を用いてデータをサブグループに分割することから始める。
• 集計データおよび各サブグループにおいて、アウトカム変数と独立変数の関係を線形回帰でモデル化する。
• サブグループ内のトレンドが集計トレンドと逆転する場合にシンプソンのパラドックスを検出する。
• 集計データおよび非集計データにおけるトレンドの統計的有意性を評価し、モデルの適合度は擬似決定係数（例：マカファードのR²）を用いて比較し、説明力の観点から非集計化の順位を付ける。
• 条件付き変数の候補を、サブグループモデルが集計モデルよりもどれほどよくデータを説明できるかに基づいて順位付けする。
• 一般化線形モデル（GLMs）を用いて連続的アウトカムへの拡張を可能とし、高いR²を示す変数ペアを組み合わせて新たな合成特徴を生成することで、予測力の向上を提案する。

実験結果

リサーチクエスチョン

• RQ1 どの条件付き変数を選択すると、全体の母集団とは逆転するトレンドを示すサブグループが得られるか？
• RQ2 異種の行動データにおいて、集計値とは著しく異なる行動を示すサブグループを体系的に同定するにはどうすればよいか？
• RQ3 初期パフォーマンス、経験、時間的要因は、オンライン学習およびQ&Aプラットフォームにおけるユーザー行動にどのように寄与しているか？
• RQ4 高いR²を示す変数ペアから導出された合成特徴は、ユーザーのパフォーマンスにおける分散の説明力やモデル適合度をどの程度向上させるか？
• RQ5 シンプソンのパラドックスを用いたトレンド逆転は、集計分析では見えにくかった意味のある行動サブタイプを明らかにできるか？

主な発見

• Khan Academyにおける最初の5回の試行、またはDuolingoにおける最初の5つのレッスンの成績を初期パフォーマンスの指標として条件付けした場合、一貫して異なるパフォーマンスのトレースを示すサブグループが同定され、ユーザーのスキルや背景知識における強い非均質性が示された。
• Khan Academyにおけるユーザーの経過年数、Duolingoにおけるレッスン数、Stack Exchangeにおける回答数／レピュテーションを経験の代理指標として用いた場合、行動サブグループの主要な区別要因として顕著に現れた。
• 最終セッションからの経過時間、セッション長、問題解決に要した時間といった時間的および行動的ダイナミクスが、重要な条件付き変数として浮き彫りになった。これは、短期間のパフォーマンスの変動が非自明であることを示唆している。
• 初期に高い成績を収めたユーザーは高いパフォーマンスを維持する傾向にあり、初期成績が低かったユーザーは多様なパターンを示すことが判明し、学習または参加のプロファイルが著しく異なることが明らかになった。
• 3つのデータセットすべてにおいて、パフォーマンスまたは活動特徴で条件付けされたサブグループは、集計モデルよりも顕著に高い適合度（高い擬似R²）を示し、説明力の向上が確認された。
• 正答の最初の試行数／総試行数の比（KA）、セッション内正答率（DL）、回答数／レピュテーション（SE）といった合成特徴は、パフォーマンスと強く相関し、モデル適合度の向上を示した。