[論文レビュー] Simpson's Paradox and Collapsibility

P. Vellaisamy|arXiv (Cornell University)|Mar 25, 2014

Advanced Causal Inference Techniques参考文献 21被引用数 3

ひとこと要約

この論文は、分割表と回帰モデルにおける統計的分析におけるシンプソンのパラドックスと可換性の相互作用を調査する。従来の可換性よりも柔軟性のある平均可換性を導入し、Y ⊥ W|X または W ⊥ X のとき、効果の均一性が成立しなくても、この条件が成り立つことを示し、したがって、関連性の逆転が生じるパラドックス的状況を防ぐ。

ABSTRACT

Simpson's paradox and collapsibility are two closely related concepts in the context of data analysis. While the knowledge about the occurrence of Simpson's paradox helps a statistician to draw correct and meaningful conclusions, the concept of collapsibility deals with dimension-reduction aspects, when Simpson's paradox does not occur. We discuss in this paper in some detail the nature and the genesis of Simpson's paradox with respect to well-known examples and also various concepts of collapsiblity. The main aim is to bring out the close connections between these two phenomena, especially with regard to the analysis of contingency tables, regression models and a certain measure of association or a dependence function. There is a vast literature on these topics and so we focus only on certain aspects, recent developments and some important results in the above-mentioned areas.

研究の動機と目的

• 実世界のデータにおけるシンプソンのパラドックスが発生する条件を明確化すること、特に分割表と回帰モデルにおいて。
• 従来の可換性の限界を検討し、平均可換性を用いたより一般的な枠組みを提案すること。
• 特に効果の均一性が成立しない場合に、平均可換性の必要十分条件を確立すること。
• 具体例を通じて、シンプソンのパラドックスが、特に共変量の分布がグループ間で異なる第三の変数による交絡によって生じることを示すこと。
• 生存解析や関連係数の測定において、結論を下す前に可換性の確認が重要であることを強調すること。

提案手法

• 確率的分解を用いて、周辺の関連性を条件付き関連性の重み付き平均としてモデル化し、共変量の分布の違いが全体の傾向を逆転させる仕組みを示す。
• 全確率の法則を適用して、P(Y|M) と P(Y|F) を部門別確率の重み付き平均として表現し、バークレー大学の入学データにおけるパラドックスを説明する。
• 平均可換性の概念を、次の条件により導入する：すべての y と x に対して、E[W|X=x](∂F(y|x,W)/∂x) = ∂F(y|x)/∂x。
• 積分条件 ∫F(y|x,w)(∂f(w|x)/∂x)dw = 0 を用いて、平均可換性の必要十分条件を導出する。
• 交互作用項を含む線形回帰モデル（例：Y = α₁X + α₂W + α₃XW + ε）を分析し、効果の導関数が w に関して一様でないことを示し、平均可換性の必要性を裏付ける。
• 非二値の W（例：W ~ N(x,1)）を用いた反例を提示し、Y ⊥ W|X および W ⊥ X が成立しなくても、平均可換性が成立しうることを示す。

実験結果

リサーチクエスチョン

• RQ1 シンプソンのパラドックスは、分割表と回帰モデルにおいてどのような条件下で発生するか？
• RQ2 共変量 W の分布が、周辺的・条件付き分析における関連性の逆転にどのように影響するか？
• RQ3 依存関数が共変量 W に関して可換性または平均可換性を満たすための条件は何か？
• RQ4 非均一な効果を伴うモデルではなぜ従来の可換性が失敗するのか？平均可換性はどのようにこれを解決するか？
• RQ5 標準的条件（Y ⊥ W|X または W ⊥ X）が満たされない状況でも、平均可換性が成立するシナリオはどのようなものか？

主な発見

• シンプソンのパラドックスは、共変量 W を条件付けた後、X と Y の周辺的関連性が逆転する場合に発生する。バークレー大学の入学データでは、全般の入学率が男性の方が高かったが、各部門では男性が不利であった。
• このパラドックスは、応募者が部門に均等に分布していなかったことに起因する：より多くの女性が競争が激しい部門（歴史学部）に応募しており、これが周辺的傾向を歪めた。
• 平均可換性は、Y ⊥ W|X または W ⊥ X のとき成立し、W が二値のとき、この条件は必要十分である。
• 交互作用項を含む線形回帰モデル（Y = α₁X + α₂W + α₃XW + ε）では、∂F(y|x,w)/∂x は w に関して一様でないため、従来の可換性は成立しないが、平均可換性は依然として成立しうる。
• 反例により、Y ⊥ W|X および W ⊥ X が成立しなくても、積分条件 ∫F(y|x,w)(∂f(w|x)/∂x)dw = 0 を満たせば、平均可換性が成立しうることが示された。
• 本論文は、統計的モデリングにおけるパラドキシカルな結論を避けるために、標準的可換性よりも実用的で一般的な基準である平均可換性がより適切であると結論づける。