[논문 리뷰] Simpson's Paradox and Collapsibility

P. Vellaisamy|arXiv (Cornell University)|2014. 03. 25.

Advanced Causal Inference Techniques참고 문헌 21인용 수 3

한 줄 요약

이 논문은 통계 분석에서 실수표와 회귀 모델에서 심프슨의 역설과 축약 가능성의 상호작용을 조사한다. 기존의 축약 가능성보다 더 유연한 조건인 평균 축약 가능성을 도입하여, Y ⊥ W|X 또는 W ⊥ X일 경우 효과의 동일성 조건이 성립하지 않더라도 여전히 역설적인 관계의 전환이 방지됨을 보여준다.

ABSTRACT

Simpson's paradox and collapsibility are two closely related concepts in the context of data analysis. While the knowledge about the occurrence of Simpson's paradox helps a statistician to draw correct and meaningful conclusions, the concept of collapsibility deals with dimension-reduction aspects, when Simpson's paradox does not occur. We discuss in this paper in some detail the nature and the genesis of Simpson's paradox with respect to well-known examples and also various concepts of collapsiblity. The main aim is to bring out the close connections between these two phenomena, especially with regard to the analysis of contingency tables, regression models and a certain measure of association or a dependence function. There is a vast literature on these topics and so we focus only on certain aspects, recent developments and some important results in the above-mentioned areas.

연구 동기 및 목표

• 실제 데이터에서 심프슨의 역설이 발생하는 조건을 명확히 하기, 특히 분할표와 회귀 모델에서 발생하는 경우를 중심으로.
• 기존의 축약 가능성의 한계를 검토하고, 평균 축약 가능성을 사용한 더 일반적인 프레임워크를 제안하기.
• 특히 효과의 동일성이 성립하지 않을 경우 통계 모델에서 평균 축약 가능성을 위한 필수 및 필요조건을 설정하기.
• 예시를 통해 심프슨의 역설이 제3의 변수에 의한 혼동으로 인해 발생하며, 특히 공변량의 분포가 그룹 간에 다를 경우에 발생함을 보여주기.
• 특히 생존 분석과 관련도 측정에서 결론을 도출하기 전에 축약 가능성을 점검하는 것이 중요함을 강조하기.

제안 방법

• 확률적 분해를 사용하여 마진별 연관성을 조건부 연관성의 가중 평균으로 모델링하여, 공변량 분포의 차이가 전체 추세를 뒤바꾸는 방식을 설명한다.
• 전체 확률의 법칙을 적용하여 P(Y|M)와 P(Y|F)를 소속 기관별 확률의 가중 평균으로 표현함으로써, 버클리 대학 입학 데이터에서의 역설을 설명한다.
• 평균 축약 가능성을 조건: E[W|X=x](∂F(y|x,W)/∂x) = ∂F(y|x)/∂x (모든 y와 x에 대해) 를 통해 도입한다.
• 적분 조건 ∫F(y|x,w)(∂f(w|x)/∂x)dw = 0 (모든 (y,x)에 대해) 를 사용하여 평균 축약 가능성을 위한 필요 및 충분조건을 유도한다.
• 상호작용 항이 포함된 선형 회귀 모델(예: Y = α₁X + α₂W + α₃XW + ε)을 분석하여 효과 도함수의 비동일성을 보여주며, 평균 축약 가능성이 필요한 이유를 정당화한다.
• 비이진 W(예: W ~ N(x,1))를 사용한 반례를 제시하여, Y ⊥ W|X 및 W ⊥ X 조건이 성립하지 않더라도 평균 축약 가능성이 성립할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 심프슨의 역설이 분할표와 회귀 모델에서 어떤 조건에서 발생하는가?
• RQ2 공변량 W의 분포가 마진별 분석과 조건부 분석 간의 연관성 전환에 어떻게 영향을 미치는가?
• RQ3 의존 함수가 공변량 W에 대해 축약 가능하거나 평균 축약 가능해지기 위한 조건은 무엇인가?
• RQ4 비효과 동일성 모델에서 기존의 축약 가능성은 왜 실패하고, 평균 축약 가능성은 이를 어떻게 해결하는가?
• RQ5 기본 조건(Y ⊥ W|X 또는 W ⊥ X)이 위반되었을 때도 평균 축약 가능성이 성립하는 상황은 어떤가?

주요 결과

• 심프슨의 역설은 조건부 변수 W에 따라 X와 Y 간의 마진별 연관성이 뒤바뀌는 경우 발생하며, UC 버클리 입학 데이터에서 남성의 전체 입학률이 높았음에도 각 기관에서 불리한 위치에 있었던 것으로 나타났다.
• 이 역설은 지원자들이 기관 간에 균형 잡히지 않게 분포되어 있기 때문이며, 더 경쟁이 치열한 기관(예: 역사학과)에 더 많은 여성 지원자가 몰려 있어 마진 추세가 왜곡되었다.
• Y ⊥ W|X 또는 W ⊥ X일 경우 평균 축약 가능성이 성립하며, 이 조건은 W가 이진일 경우 충분하고 필수 조건이다.
• 상호작용 항이 포함된 선형 회귀 모델(Y = α₁X + α₂W + α₃XW + ε)에서 ∂F(y|x,w)/∂x 는 w에 대해 동일하지 않으므로 기존의 축약 가능성은 실패하지만, 평균 축약 가능성은 여전히 성립할 수 있다.
• 반례를 통해 Y ⊥ W|X 및 W ⊥ X 조건이 모두 성립하지 않더라도, ∫F(y|x,w)(∂f(w|x)/∂x)dw = 0 조건을 만족함으로써 평균 축약 가능성이 성립할 수 있음을 보였다.
• 논문은 평균 축약 가능성이 표준 축약 가능성보다 더 실용적이고 일반적인 기준이며, 통계 모델링에서 역설적인 결론을 피하기 위한 기준으로서 중요하다고 결론을 내린다.