[論文レビュー] Beyond the Sharp Null: Randomization Inference, Bounded Null Hypotheses, and Confidence Intervals for Maximum Effects

Devin Caughey, Allan Dafoe+1 more|arXiv (Cornell University)|Sep 21, 2017

Advanced Causal Inference Techniques参考文献 21被引用数 8

ひとこと要約

この論文は、すべての処置効果が閾値以下に制約される境界付き帰無仮説—つまり、すべての単位の処置効果が特定の値以下である—の下で、効果を増加させる検定統計量を用いることで、鋭い帰無仮説を超えてランダム化推論を拡張している。これにより、最大効果および最小効果の正確な片側信頼区間が可能になる。この手法は、平均の差やステフンソン順位和のような統計量を用いたパーミュテーション検定に基づいており、パラメトリックな仮定を必要とせず、小標本においても頑健な非パラメトリック推論を可能にする。

ABSTRACT

Fisherian randomization inference is often dismissed as testing an uninteresting and implausible hypothesis: the sharp null of no effects whatsoever. We show that this view is overly narrow. Many randomization tests are also valid under a more general "bounded" null hypothesis under which all effects are weakly negative (or positive), thus accommodating heterogenous effects. By inverting such tests we can form one-sided confidence intervals for the maximum (or minimum) effect. These properties hold for all effect-increasing test statistics, which include both common statistics such as the mean difference and uncommon ones such as Stephenson rank statistics. The latter's sensitivity to extreme effects permits detection of positive effects even when the average effect is negative. We argue that bounded nulls are often of substantive or theoretical interest, and illustrate with two applications: testing monotonicity in an IV analysis and inferring effect sizes in a small randomized experiment.

研究の動機と目的

• すべての単位に対して効果がゼロであるという現実的でない鋭い帰無仮説に限定されるランダム化推論の批判に応えること。
• すべてのユニットレベルの効果が一定値以下に制約される境界付き帰無仮説の下で、効果を増加させる検定統計量を用いたランダム化検定が有効であることを示すこと。
• 境界付き帰無仮説の検定を逆転させることで、最大（または最小）処置効果の正確な非パラメトリック信頼区間を構築すること。
• 平均の差や、よりなじみの薄いステフンソン順位和のような一般的に用いられる統計量が、効果を増加させる性質を有することを示し、頑健な推論を可能にすること。
• 単調性の検定や平均効果が誤解を招く可能性がある小規模なラジオミック実験において、この手法の実用的価値を実証すること。

提案手法

• すべてのユニットレベルの処置効果 τ_i が τ⁰ 以下（または以上）に制約される境界付き帰無仮説を定義し、鋭い帰無仮説を一般化すること。
• 処置群の結果が上昇し、対照群の結果が低下するほど統計量が増加する「効果を増加させる」検定統計量を用い、境界付き帰無仮説の下でも有効性を保証すること。
• 境界付き帰無仮説 τ⁰ の系列を検証することでランダム化検定を逆転させ、最大または最小効果の片側信頼区間を構築すること。
• 一般的な統計量（例：平均の差）およびあまりなじみのない統計量（例：ステフンソン順位和）を用い、極端な効果に敏感な検定を実施すること。
• 安定単位処置値の仮定（SUTVA）とランダム割り当ての下で、正確な信頼区間を導出する。パラメトリックモデルや漸近的近似を必要としない。
• 観察されたデータに基づき、結果の理論的範囲（例：票差の場合は [-100, 100]）を用いて、最大処置効果の上限を特定すること。

実験結果

リサーチクエスチョン

• RQ1 ランダム化推論は、鋭い帰無仮説を超えて、より実質的に意味のある境界付き帰無仮説へと拡張可能か？
• RQ2 鋭い帰無仮説ではなく境界付き帰無仮説を検証する際、ランダム化検定が有効となる条件は何か？
• RQ3 境界付き帰無仮説の検定を逆転させることで、最大または最小処置効果の片側信頼区間を構築できるか？
• RQ4 ステフンソン順位和のような効果を増加させる統計量は、処置効果の不均一性が顕著な状況で、極端な効果の検出をどのように向上させるか？
• RQ5 平均効果が情報にならない小標本実験において、このアプローチの実用的意義は何か？

主な発見

• 効果を増加させる統計量を用いたランダム化検定は、すべての i に対して τ_i ≤ τ⁰ が成り立つような境界付き帰無仮説の下でも有効であり、鋭い帰無仮説を超えてその有用性が拡張される。
• 境界付き帰無仮説の下でランダム化検定を逆転させることで、最大処置効果の片側信頼区間を構築でき、正確な推論が可能になる。
• ワンチェコン（2003）の実験では、最大効果の90％片側信頼区間の下限が+1.0ポイントであり、80％区間の下限は+2.0ポイントであった。
• 結果の範囲によって制約された最大効果の上限は、理論的な最大値+93.0ポイントであった。
• 最小効果の80％信頼区間は[-86.0, -11.1]、最大効果の80％信頼区間は[+2.0, +93.0]であり、処置効果の著しい不均一性が示された。
• 最小効果と最大効果の80％信頼区間が重複しないことから、政策処置は正の効果と負の効果の両方を示しており、その大きさに顕著なばらつきが存在することが示された。