[論文レビュー] A paradox from randomization-based causal inference

Peng Ding|arXiv (Cornell University)|Feb 2, 2014

Advanced Causal Inference Techniques参考文献 25被引用数 12

ひとこと要約

この論文は、ランダム化に基づく因果推論における直感に反するパラドックスを特定する。Fisherの帰無仮説（個々の因果効果がゼロ）は論理的にはNeymanの帰無仮説（平均因果効果がゼロ）を含意するが、実際にはNeymanの検定は帰無仮説を棄却する一方でFisherの検定は棄却しないことがある——特に一定の因果効果の下で顕著である。著者らは、漸近的解析、シミュレーション、実データを用いて、完全無作為化、層別、対応ペア、因子実験のあらゆる設定でこのパラドックスを示し、論理的含意があるにもかかわらず検定行動に根本的な不一致が生じることを明らかにする。

ABSTRACT

Under the potential outcomes framework, causal effects are defined as comparisons between potential outcomes under treatment and control. To infer causal effects from randomized experiments, Neyman proposed to test the null hypothesis of zero average causal effect (Neyman's null), and Fisher proposed to test the null hypothesis of zero individual causal effect (Fisher's null). Although the subtle difference between Neyman's null and Fisher's null has caused lots of controversies and confusions for both theoretical and practical statisticians, a careful comparison between the two approaches has been lacking in the literature for more than eighty years. We fill in this historical gap by making a theoretical comparison between them and highlighting an intriguing paradox that has not been recognized by previous researchers. Logically, Fisher's null implies Neyman's null. It is therefore surprising that, in actual completely randomized experiments, rejection of Neyman's null does not imply rejection of Fisher's null for many realistic situations, including the case with constant causal effect. Furthermore, we show that this paradox also exists in other commonly-used experiments, such as stratified experiments, matched-pair experiments, and factorial experiments. Asymptotic analyses, numerical examples, and real data examples all support this surprising phenomenon. Besides its historical and theoretical importance, this paradox also leads to useful practical implications for modern researchers.

研究の動機と目的

• NeymanとFisherのランダム化に基づく因果推論フレームワークの間の長年の理論的曖昧さを解消すること。
• Fisherの帰無仮説（個々の因果効果がゼロ）が論理的にNeymanの帰無仮説（平均因果効果がゼロ）を含意するにもかかわらず、Neymanの検定は帰無仮説を棄却するがFisherの検定は棄却しない理由を解明すること。
• このパラドックスが実験的設計の一般的な特徴であることを示し、アーティファクトではなく体系的な現象であることを証明すること。
• 研究者がランダム化実験における検定選択と解釈に関して実用的な指針を得られるようにすること。

提案手法

• 潜在的アウトカム枠組みの下で、Neymanの帰無仮説（平均因果効果がゼロ）とFisherの帰無仮説（個々の因果効果がゼロ）の理論的比較。
• 両帰無仮説の下での検定のパワーに関する漸近的解析により、因果効果が一定のときNeymanの検定がよりパワーが高いことを示す。
• 実データ例および$2^4$要因実験からの数値的シミュレーションを用いて、実際のパラドックスの様子を提示。
• ランダム化推論（Fisherのランダム化検定（FRT）およびスコア検定を含む）を用いて、異なる帰無仮説の下での棄却率を評価。
• パラドックスが発生する条件の導出。これは潜在的アウトカムの相関と治療割り当て確率に基づく。
• 層別、対応ペア、因子実験への結果の拡張により、パラドックスの一般性を示す。

実験結果

リサーチクエスチョン

• RQ1 Fisherの帰無仮説が論理的にNeymanの帰無仮説を含意するにもかかわらず、Neymanの検定が帰無仮説を棄却するがFisherの検定が棄却しない条件は何か？
• RQ2 因果効果が一定の仮定下で、論理的含意に反してなぜNeymanの検定がFisherの検定よりもパワーが高いのか？
• RQ3 このパラドックスは完全無作為化実験にとどまらず、層別や因子実験のような他の実験設計でも持続するか？
• RQ4 t統計量、Kolmogorov–Smirnov統計量、Wilcoxon–Mann–Whitney統計量といった異なる検定統計量は、パラドックスの挙動にどのように影響するか？
• RQ5 このパラドックスは、ランダム化実験におけるNeyman的推論とFisher的推論の間での選択に研究者にどのような実用的影響を与えるか？

主な発見

• 完全無作為化実験では、因果効果が一定のとき、Neymanの検定は帰無仮説を棄却するがFisherの検定は棄却しないことがある。
• パラドックスは、因果効果が一定のとき、Neymanの検定の漸近的パワーがFisherの検定を上回るため発生する。これはFisherの帰無仮説がNeymanの帰無仮説を含意するという事実と矛盾しない。
• パラドックスは完全無作為化実験に限らない。層別、対応ペア、因子実験でも、漸近理論および実データの両方で確認されている。
• Kolmogorov–Smirnov統計量およびWilcoxon–Mann–Whitney統計量のランダム化分布は、Fisherのきつい帰無仮説下でNeymanの平均帰無仮説下よりも分散が大きくなるため、平均帰無仮説下ではFRTが保守的になる。
• パラドックスが発生する条件は、潜在的アウトカムと治療割り当て確率の相関に依存し、黄金比の逆数（約0.618）が臨界閾値となる。
• このパラドックスは、Dasguptaら（2015）が観察したように、因子実験におけるFRTの逆に信頼区間を反転させた区間推定量がNeymanの信頼区間よりも広がりがちであるのを説明する助けになる。