[논문 리뷰] Using Simpson's Paradox to Discover Interesting Patterns in Behavioral Data

Nazanin Alipourfard, Peter G. Fennell외 1명|arXiv (Cornell University)|2018. 05. 08.

Data Mining Algorithms and Applications인용 수 7

한 줄 요약

이 논문은 스플린의 역설을 통해 추세 반전을 탐지함으로써 이질적인 행동 데이터에서 놀라운 행동 패턴을 드러내는 데이터 기반 방법인 심슨의 분해(Simpson's Disaggregation)를 제안한다. 결과 분산을 최소화하는 공변량 기반으로 데이터를 체계적으로 하위군으로 분할함으로써, 집합적 행동과는著격히 다른 행동을 보이는 하위집단을 식별함으로써 칸아카데미, 두올링고, 스택오버플로우와 같은 플랫폼에서 사용자 성과의 숨겨진 이질성을 드러낸다.

ABSTRACT

We describe a data-driven discovery method that leverages Simpson's paradox to uncover interesting patterns in behavioral data. Our method systematically disaggregates data to identify subgroups within a population whose behavior deviates significantly from the rest of the population. Given an outcome of interest and a set of covariates, the method follows three steps. First, it disaggregates data into subgroups, by conditioning on a particular covariate, so as minimize the variation of the outcome within the subgroups. Next, it models the outcome as a linear function of another covariate, both in the subgroups and in the aggregate data. Finally, it compares trends to identify disaggregations that produce subgroups with different behaviors from the aggregate. We illustrate the method by applying it to three real-world behavioral datasets, including Q\&A site Stack Exchange and online learning platforms Khan Academy and Duolingo.

연구 동기 및 목표

• 대규모이고 이질적인 행동 데이터에서 탐색적 분석을 수행하는 데 있어, 임의의 방법론이 원칙적인 지침을 제공하지 못하는 문제를 해결하기 위해.
• 집계 수준의 추세에 의해 가려져 있는, 데이터를 분리할 때만 드러나는 놀라운 비명백한 행동 패턴을 식별하기 위해.
• 통계적 엄밀함을 바탕으로 전체 인구집단과著격히 다른 행동을 보이는 하위군의 자동 탐지를 위해.
• 특히 노이즈가 많고 희박하며 균형이 깨진 데이터셋에서 행동과학의 데이터 탐색을 체계적이고 재현 가능한 방법으로 제공하기 위해.
• 이 방법의 실용성을 실세계 온라인 학습 및 Q&A 플랫폼에서 입증하여, 기술, 경험, 시간적 역학에 대한 통찰을 드러내기 위해.

제안 방법

• 이 방법은 결과 분산이 하위군 내에서 최소가 되는 조건화 공변량을 사용해 데이터를 하위군으로 분할함으로써 시작된다.
• 집계된 데이터와 각 하위군에서 결과 변수와 독립 변수 간의 관계를 선형 회귀 모델로 모델링한다.
• 하위군의 추세 방향이 집계 추세와 반대일 경우를 식별함으로써 스플린의 역설을 탐지한다.
• 집계 및 분리된 데이터에서 추세의 통계적 유의성을 평가하며, 모델 적합도는 의사 R²(예: 맥팔던의 R²)를 사용해 비교하여 분해의 설명력에 따라 순위를 매긴다.
• 모델이 집계 모델보다 하위군 모델이 얼마나 더 잘 데이터를 설명하는지에 따라 잠재적 조건화 변수를 순위 매긴다.
• 일반화선형모형(GLMs)을 통해 연속형 결과로의 확장을 지원하며, 고R² 변수 쌍을 조합하여 새로운 복합 특징을 만들고 예측력을 향상시키는 것을 제안한다.

실험 결과

연구 질문

• RQ1 어떤 조건화 변수들이 전체 집단과는 반대되는 행동 추세를 보이는 하위군을 생성하는가?
• RQ2 이질적인 행동 데이터에서 집계 수준과著격히 다른 행동을 보이는 하위군을 체계적으로 식별하는 방법은 무엇인가?
• RQ3 초기 성과, 경험, 시간적 요소는 온라인 학습 및 Q&A 플랫폼에서 사용자 행동을 어떻게 형성하는가?
• RQ4 고R² 변수 쌍에서 유도된 복합 특징이 모델 적합도 향상과 사용자 성과의 분산 설명에 얼마나 기여하는가?
• RQ5 스플린의 역설을 통해 탐지된 추세 반전은 집계 분석에서 가려졌던 의미 있는 행동 하위형질을 드러낼 수 있는가?

주요 결과

• 칸아카데미에서 첫 다섯 번의 시도나 두올링고에서 첫 다섯 개의 수업을 기준으로 한 초반 성과를 조건화하면, 항상 다른 성과 궤적을 보이는 하위군이 드러나며, 이는 사용자 기술 수준이나 배경 지식의 강한 이질성을 시사한다.
• 칸아카데미에서의 사용자 근무 기간, 두올링고에서의 수업 수, 스택오버플로우에서의 답변 수 또는 명성 수준으로 측정되는 경험은 행동 하위군을 구분하는 핵심 요소로 부각되었다.
• 최근 세션 이후 경과 시간, 세션 길이, 문제 해결에 소비된 시간과 같은 시간적 및 행동적 역학은 중요한 조건화 변수로 나타났으며, 이는 짧은 기간 내 성과의 비정상적인 변동이 있음을 시사한다.
• 초기 성과가 양호한 사용자는 높은 성과를 유지하는 반면, 초기 성과가 낮은 사용자는 다른 패턴을 보이며, 이는 학습 또는 참여 프로필이 다르다는 것을 시사한다.
• 세 데이터셋 전반에서 성과 또는 활동 특징을 조건화하여 형성된 하위군은 집계 모델보다 유의미하게 높은 의사 R²를 보이며 모델 적합도가 향상되었으며, 이는 설명력 향상을 확인한다.
• 예를 들어 KA에서는 첫 번째 시도에서 정답 비율을 총 시도 수로 나눈 비율, DL에서는 세션 정답 비율, SE에서는 답변 수 대비 명성 수치 등 복합 특징이 성과와 높은 상관관계를 보이며 모델 적합도를 향상시켰다.