[논문 리뷰] Inferring Treatment Effects After Testing Instrument Strength in Linear Models

Nan Bi, Hyunseung Kang외 1명|arXiv (Cornell University)|2020. 03. 14.

Advanced Causal Inference Techniques참고 문헌 23인용 수 4

한 줄 요약

이 논문은 처리 효과 추론이 F-검정을 통해 도구 변수의 강도를 사전 검정한 후에 발생하는 유의수준 오류 증가 문제를 수정하기 위해 선택적 추론 방법을 제안한다. F-검정을 랜덤라이즈드 볼록 최적화 문제로 재구성하고 선택적 추론 기법을 적용함으로써, 조건부 및 균형 유의수준 오류 제어가 가능해지며, 재분석 결과에 따르면 난이도 있는 추론은 교육의 수익에 대한 영향을 과도하게 강조하는 것으로 드러났다.

ABSTRACT

A common practice in IV studies is to check for instrument strength, i.e. its association to the treatment, with an F-test from regression. If the F-statistic is above some threshold, usually 10, the instrument is deemed to satisfy one of the three core IV assumptions and used to test for the treatment effect. However, in many cases, the inference on the treatment effect does not take into account the strength test done a priori. In this paper, we show that not accounting for this pretest can severely distort the distribution of the test statistic and propose a method to correct this distortion, producing valid inference. A key insight in our method is to frame the F-test as a randomized convex optimization problem and to leverage recent methods in selective inference. We prove that our method provides conditional and marginal Type I error control. We also extend our method to weak instrument settings. We conclude with a reanalysis of studies concerning the effect of education on earning where we show that not accounting for pre-testing can dramatically alter the original conclusion about education's effects.

연구 동기 및 목표

• 도구 변수 모델에서 처리 효과 추론이 도구 변수의 강도에 대한 사전 검정(예: F-통계량)을 거친 후 발생하는 과도한 유의수준 오류와 유효하지 않은 p-값 문제를 해결하기 위해.
• 사전 검정 결과(예: F-통계량 > 10)에 조건을 두고 통계적 추론을 보다 정확하게 하기 위해 방법을 개발하기 위해.
• CLR 검정과 같은 강건한 검정 통계량을 사용하여 약한 도구 변수 설정으로의 방법 확장을 위해.
• 교육과 수익에 관한 고전적 연구들을 재분석하여 사전 검정을 忽시할 경우 실질적인 영향을 어떻게 오도하게 되는지 보여주기 위해.
• 진단 검사(예: 도구 변수의 강도)를 처리 효과 추정 이전에 수행하는 도구 변수 설정에서 선택적 추론의 일반적 프레임워크를 수립하기 위해.

제안 방법

• 도구 변수의 강도에 대한 사전 검정을 랜덤라이즈드 볼록 최적화 문제로 재구성하여 선택적 추론 도구를 적용할 수 있도록 한다.
• 표본 기반 추론을 사용하여 F-검정이 임계값을 통과했거나 통과하지 못했을 경우에 대해 처리 효과 검정 통계량의 조건부 귀무분포를 계산한다.
• 선택적 추론 기법을 적용하여 사전 검정 결과에 조건부한 정확한 p-값과 신뢰구간을 도출한다.
• 약한 도구 변수 설정으로의 확장을 위해, F-통계량이 임계값(예: C₀ = 10)을 초과하지 않았을 경우에 조건부한 분석을 수행하며, CLR 검정과 같은 약한 도구 변수에 강건한 검정 통계량을 사용한다.
• 사전 검정의 선택 이벤트를 반영한 조건부 신뢰구간과 p-값을 생성하기 위해 시뮬레이션 기반 절차를 구현한다.
• 이론적 증명과 실증 검증을 통해 조건부 및 균형 유의수준 오류 제어를 보장한다.

실험 결과

연구 질문

• RQ1 도구 변수의 강도에 대한 사전 검정이 도구 변수 모델에서 처리 효과 검정 통계량의 분포에 어떻게 영향을 미치는가?
• RQ2 사전 검정을 忽시할 경우 표준 도구 변수 추론에서 유의수준 오류 비율과 신뢰구간 커버리지에 어떤 영향을 미치는가?
• RQ3 선택적 추론 기법은 도구 변수 강도에 대한 사전 검정으로 인한 조건부 효과를 어떻게 수정할 수 있는가?
• RQ4 伝통적인 도구 변수 추정량이 편향을 보이는 약한 도구 변수 설정에서 제안된 방법의 성능은 어떠한가?
• RQ5 사전 검정 편향이 실세계 적용 사례(예: 교육의 수익률 추정)에서 결론을 얼마나 변화시키는가?

주요 결과

• 사전 검정을 忽시한 난이도 있는 추론은 특히 F-통계량이 10의 임계값 근처에 있을 경우, 과도한 유의수준 오류와 명목 수준 이하의 커버리지를 가진 신뢰구간을 초래한다.
• 카드(1995)의 교육과 수익에 관한 연구를 재분석한 결과, 기존의 TSLS를 사용한 p-값 0.016는 사전 검정을 적절히 반영한 후 0.602로 감소하여 효과가 유의미하지 않게 되었다.
• 안그리스트와 쿠에거(1991)의 연구에서 약한 도구 변수(F-통계량 ≈ 0.96)를 사용한 경우, 조건부 95% 신뢰구간은 [-∞, +∞]로 나타나 정밀한 추론이 불가능했고, 비조건부 구간은 [0.0238, 0.2671]로 나타나 정밀도가 있다고 잘못 추론되었다.
• 제안된 방법은 약한 도구 변수 조건에서도 명목 수준의 커버리지와 함께 조건부 및 균형 유의수준 오류를 제어한다.
• 기존 접근법에서 조건부 효과에 민감하지 않은 강건한 검정 통계량인 CLR 검정을 사용하더라도, 이 방법은 여전히 효과적으로 기능한다.
• 시뮬레이션 및 실증 결과는 사전 검정을 반영하지 않을 경우 도구 변수 연구에서 과신되고 오도된 결론에 이르게 되며, 특히 노동경제학 분야의 적용에서 뚜렷하게 나타난다.