[논문 리뷰] Can you Trust the Trend: Discovering Simpson's Paradoxes in Social Data

Nazanin Alipourfard, Peter G. Fennell외 1명|arXiv (Cornell University)|2018. 01. 13.

Topic Modeling참고 문헌 13인용 수 6

한 줄 요약

이 논문은 사회적 데이터에서 집계된 데이터와 분할된 하위군 간의 추세를 비교함으로써 심슨의 역설을 자동으로 탐지하는 통계적 방법을 제안한다. 이 방법은 조건부 변수에 따라 추세가 뒤바뀌는 '심슨의 쌍'—두 변수 간의 추세 반전을 일으키는 변수 쌍—을 식별하며, 이를 스택 익스체인지 데이터에 적용하여 기존의 것과 새로운 역설을 발견한다. 이는 답변자 성과의 숨겨진 패턴을 드러내며, 예를 들어 이전 답변 이후 경과 시간이 집계 수준에서는 반대로 하위군 수준에서는 반대 효과를 보일 수 있음을 보여준다.

ABSTRACT

We investigate how Simpson's paradox affects analysis of trends in social data. According to the paradox, the trends observed in data that has been aggregated over an entire population may be different from, and even opposite to, those of the underlying subgroups. Failure to take this effect into account can lead analysis to wrong conclusions. We present a statistical method to automatically identify Simpson's paradox in data by comparing statistical trends in the aggregate data to those in the disaggregated subgroups. We apply the approach to data from Stack Exchange, a popular question-answering platform, to analyze factors affecting answerer performance, specifically, the likelihood that an answer written by a user will be accepted by the asker as the best answer to his or her question. Our analysis confirms a known Simpson's paradox and identifies several new instances. These paradoxes provide novel insights into user behavior on Stack Exchange.

연구 동기 및 목표

• 집계된 사회적 데이터에서 심슨의 역설로 인해 잘못된 결론을 이끌어내는 위험을 해결하기 위해.
• 데이터가 하위군으로 분할될 때 추세가 뒤바뀌는 경우를 체계적으로 탐지하는 방법을 개발하기 위해.
• 특히 질문-답변 플랫폼인 스택 익스체인지와 같은 환경에서 온라인 사용자 성과의 숨겨진 행동 패턴을 식별하고 분석하기 위해.
• 표준 다변량 모델이 분할 분석을 통해만 드러나는 중요한 하위군 수준의 추세를 간과할 수 있음을 보여주기 위해.
• 연구자들이 사회적 데이터 분석에서 심슨의 역설을 탐지하고 이를 고려할 수 있도록 실용적인 도구를 제공하기 위해.

제안 방법

• 이 방법은 '심슨의 쌍'—한 변수에 대한 결과 변수의 추세가 두 번째 변수에 따라 조건화될 때 뒤바뀌거나 사라지는 변수 쌍—을 식별한다.
• 집계된 데이터와 조건부 변수에 의해 정의된 하위군 간의 통계적 추세(예: 로지스틱 회귀 계수)를 비교한다.
• 선형 추세 계수의 부호 비교를 통해 하위군 간의 추세 반전을 탐지하며, 답변 수락과 같은 이진 결과에 중점을 둔다.
• 데이터는 조건부 변수에 따라 하위군으로 분할되며, 각 하위군에 대해 별도로 추세 파rameter를 추정한다.
• 하위군 결과는 추세 계수의 부호를 평균화하여 집계하며, 크기와 관계없이 모든 하위군에 동일한 가중치를 부여한다.
• 이 방법은 두 가지 필수 조건에 의존한다: (1) 독립 변수와 조건부 변수 간의 상관관계, 그리고 (2) 하위군 간 결과 값의 변동성.

실험 결과

연구 질문

• RQ1 이전 답변 이후 경과 시간에 따른 답변 수락 확률의 추세가 사용자 행동 하위군 전반에서 일관되게 유지되는가?
• RQ2 사용자 행동 패턴에 따라 데이터가 분할될 때 집계된 추세가 뒤바뀌는 경우를 탐지할 수 있는가?
• RQ3 사용자 활동 패턴, 예를 들어 답변 위치와 같은 조건부 변수를 고려할 경우, 시간 기반 성과 추세의 해석은 어떻게 달라지는가?
• RQ4 표준 다변량 모델이 분할 분석을 통해만 드러나는 하위군 수준의 추세를 얼마나 많이 간과하는가?
• RQ5 심슨의 역설을 답변 수락 패턴에 적용함으로써 스택 익스체인지에서 사용자 행동에 대한 새로운 통찰을 얻을 수 있는가?

주요 결과

• 이 방법은 집계된 데이터에서는 답변자 성과가 세션 내에서 시간이 지남에 따라 악화되지만, 단기 하위군에서는 향상되는 것으로 나타나는 기존의 심슨의 역설을 성공적으로 확인했다.
• 이 방법은 새로운 심슨의 쌍을 발견했다: '이전 답변 이후 경과 시간'과 '답변 위치'—짧은 시간 스케일에서 추세가 뒤바뀐다.
• '답변 위치 = 1'(긴 휴식)인 경우, 이전 답변 이후 경과 시간이 길어질수록 수락 확률이 감소하며, 이는 더 나은 사용자들이 짧은 휴식을 취한다는 것을 시사한다.
• '답변 위치 > 1'(짧은 휴식)인 경우, 이전 답변 이후 경과 시간이 길어질수록 수락 확률이 증가하며, 이는 짧은 휴식을 취할 때 더 높은 품질의 답변을 제공한다는 것을 나타낸다.
• 다변량 로지스틱 회귀 모델은 대부분의 그룹(긴 휴식)이 감소 추세를 보이기 때문에 이 역설을 탐지하지 못했다.
• 심슨의 쌍에서 유래한 변수들을 조합한 새로운 특징을 생성함으로써 답변자 성과에 대한 더 강력한 대체 지표를 만들 수 있었으며, 이는 역설 탐지 기법이 모델 설계에 실용적인 유용성을 지닌다는 점을 강조한다.