[論文レビュー] Inferring Treatment Effects After Testing Instrument Strength in Linear Models

Nan Bi, Hyunseung Kang+1 more|arXiv (Cornell University)|Mar 14, 2020

Advanced Causal Inference Techniques参考文献 23被引用数 4

ひとこと要約

本稿では、器具変数（IV）解析において、処置効果の推論がF統計量を用いた器具の強さの事前検定に続く場合に生じる第1種の過誤の増大を是正する選択的推論手法を提案する。F検定を確率的凸最適化問題として定式化し、選択的推論手法を適用することで、条件付きおよび周辺的な第1種の過誤を有効に制御する。再解析の結果、単純な推論では教育の収入への影響の有意性が著しく誇張されていることが示された。

ABSTRACT

A common practice in IV studies is to check for instrument strength, i.e. its association to the treatment, with an F-test from regression. If the F-statistic is above some threshold, usually 10, the instrument is deemed to satisfy one of the three core IV assumptions and used to test for the treatment effect. However, in many cases, the inference on the treatment effect does not take into account the strength test done a priori. In this paper, we show that not accounting for this pretest can severely distort the distribution of the test statistic and propose a method to correct this distortion, producing valid inference. A key insight in our method is to frame the F-test as a randomized convex optimization problem and to leverage recent methods in selective inference. We prove that our method provides conditional and marginal Type I error control. We also extend our method to weak instrument settings. We conclude with a reanalysis of studies concerning the effect of education on earning where we show that not accounting for pre-testing can dramatically alter the original conclusion about education's effects.

研究の動機と目的

• IVモデルにおける処置効果の推論が器具の強さの事前検定（F統計量を用いて）に続く場合に生じる第1種の過誤の増大と、無効なp値の問題を解決すること。
• 事前検定の結果（例：F統計量 > 10）に条件づけられた推論を適切に扱う手法を開発すること。
• 弱い器具の状況においても有効な統計的推論を可能とするために、CLR検定のようなロバストな検定統計量を用いてこの手法を拡張すること。
• 教育と収入の関係を再分析することで、事前検定を無視した場合の実務的影響を示すこと。
• 診断チェック（例：器具の強さ）を処置効果推定の前に行うIV設定における選択的推論の一般枠組みを確立すること。

提案手法

• 器具の強さの事前検定を確率的凸最適化問題として定式化し、選択的推論ツールの適用を可能にする。
• サンプリングに基づく推論を用いて、器具の強さのF検定がしきい値を通過した（または通過しなかった）ことを条件とした処置効果検定統計量の条件付き帰無分布を計算する。
• 選択的推論手法を適用し、事前検定の結果に条件づけられた正確なp値および信頼区間を導出する。
• 弱い器具の状況に対応するため、F統計量がしきい値（例：C₀ = 10）を超えないこと（例：F < 10）に条件づけて、CLR検定のような弱い器具にロバストな検定統計量を用いる。
• シミュレーションベースの手順を用いて、事前検定からの選択イベントを考慮した条件付き信頼区間およびp値を生成する。
• 理論的証明と実証的検証を通じて、条件付きおよび周辺的な第1種の過誤を両方とも制御することを保証する。

実験結果

リサーチクエスチョン

• RQ1 IVモデルにおいて、器具の強さの事前検定が処置効果検定統計量の分布にどのように歪みをもたらすか？
• RQ2 事前検定を無視した場合、標準的なIV推論における第1種の過誤率と信頼区間の被覆率にどのような影響が生じるか？
• RQ3 選択的推論手法は、器具の強さに関する事前検定によって生じる条件づけを是正するために適応可能か？
• RQ4 従来のIV推定量がバイアスを生じる弱い器具の状況において、提案手法はどのように性能を示すか？
• RQ5 事前検定バイアスは、教育の報酬を推定するような実世界の応用において、結論をどの程度変化させるか？

主な発見

• 器具の強さの事前検定を無視した単純な推論では、第1種の過誤が増大し、特にF統計量がしきい値（10）に近い場合に、名目水準よりも低い被覆率の信頼区間が得られる。
• カーディ（1995）の教育と収入に関する研究の再解析において、TSLSを用いた元のp値（0.016）は、事前検定を適切に考慮した後は0.602に低下し、効果は有意でなくなった。
• アンガリスとコーガー（1991）の研究では、弱い器具（F統計量 ≈ 0.96）を用いていたが、条件付き95％信頼区間は[−∞, +∞]となり、明確な推論が不可能であった。一方、無条件の信頼区間は[0.0238, 0.2671]であり、誤って精度があると誤認された。
• 提案手法は、弱い器具下でも名目水準の信頼区間被覆率を達成し、条件付きおよび周辺的な第1種の過誤率を両方とも制御する。
• 従来のアプローチでは条件づけに感受性のない、弱い器具にロバストな検定統計量（例：CLR検定）を用いても、本手法は依然として有効である。
• シミュレーションおよび実証的結果から、事前検定を無視した場合、特に労働経済学の応用において、過信された誤った結論が導かれることが示された。