[논문 리뷰] Necessary and Probably Sufficient Test for Finding Valid Instrumental Variables

Amit Sharma|arXiv (Cornell University)|2018. 12. 04.

Economic Policies and Impacts참고 문헌 2인용 수 6

한 줄 요약

이 논문은 이차변수(IV) 유효성을 검증하기 위해 유효-IV 및 비유효-IV 인과 모델의 주변우도를 비교하는 베이지안 모델 비교 방법—필요하고도 가능성이 있는(NPS) 검정을 제안한다. 이 방법은 이산 변수에서 데이터 기반으로 IV 유효성을 탐지할 수 있으며, 배제 위반에 대해 높은 검정력과 단조성 조건 및 중간에서 약한 기준 강도 하에서 가장 우수한 성능을 보인다.

ABSTRACT

Can instrumental variables be found from data? While instrumental variable (IV) methods are widely used to identify causal effect, testing their validity from observed data remains a challenge. This is because validity of an IV depends on two assumptions, exclusion and as-if-random, that are largely believed to be untestable from data. In this paper, we show that under certain conditions, testing for instrumental variables is possible. We build upon prior work on necessary tests to derive a test that characterizes the odds of being a valid instrument, thus yielding the name "necessary and probably sufficient". The test works by defining the class of invalid-IV and valid-IV causal models as Bayesian generative models and comparing their marginal likelihood based on observed data. When all variables are discrete, we also provide a method to efficiently compute these marginal likelihoods. We evaluate the test on an extensive set of simulations for binary data, inspired by an open problem for IV testing proposed in past work. We find that the test is most powerful when an instrument follows monotonicity---effect on treatment is either non-decreasing or non-increasing---and has moderate-to-weak strength; incidentally, such instruments are commonly used in observational studies. Among as-if-random and exclusion, it detects exclusion violations with higher power. Applying the test to IVs from two seminal studies on instrumental variables and five recent studies from the American Economic Review shows that many of the instruments may be flawed, at least when all variables are discretized. The proposed test opens the possibility of data-driven validation and search for instrumental variables.

연구 동기 및 목표

• 관측된 데이터로부터 이차변수를 검증하는 데 오랫동안 지속된 과제를 해결하기 위해, 배제 및 가상으로 무작위화된 조건과 같은 표준 가정들이 일반적으로 검증 불가능한 점을 고려한다.
• 도메인 가정에 의존하지 않고 관측된 데이터만을 사용해 유효한 기준과 비유효한 기준을 구분할 수 있는 통계적 검정을 개발한다.
• 동일한 데이터셋 내에서 여러 기준의 상대적 유효성 비교 및 평가를 위한 체계적이고 객관적인 기준을 제공한다.
• 특히 변수가 이산적이고 단조성이 성립할 때, 이차변수 유효성 검증이 가능해지는 조건을 탐색한다.
• 광범위한 시뮬레이션과 실제 응용을 통해 검정의 실증적 성능을 평가하며, 널리 사용되는 기준들에 잠재적인 결함이 있음을 드러낸다.

제안 방법

• 이차변수 유효성과 비유효성의 인과 모델을 이산 랜덤 변수 위에서의 베이지안 생성 모델로 정식화한다.
• 이산 설정에서 정확한 계산을 위해 딜레트 함수를 활용한 딜레트 적분을 사용해 유효-IV 및 비유효-IV 모델 클래스 하에서 관측된 데이터의 주변우도를 계산한다.
• 가상 무작위화 또는 배제 및 가상 무작위화 조건이 모두 위반될 경우, 감마 함수와 딜레트 적분을 활용해 주변우도의 닫힌 형태 표현식을 유도한다.
• 유효-IV 모델 대비 비유효-IV 모델의 주변우도 비율인 유효성 비율을 검정 통계량으로 사용해 기준 유효성을 평가한다.
• 기준 강도와 위반 수준의 다양한 구성 조건 하에서 시뮬레이션된 이진 데이터에 NPS 검정을 적용해 검정력과 내구성을 평가한다.
• 구조 모델에 단조성 제약 조건을 적용해 검정 설계를 안내하고 탐지 능력을 향상시키는 이론적 부등식을 도출한다.

실험 결과

연구 질문

• RQ1 비관측 혼란 요인 존재 하에서도 관측된 데이터로부터 이차변수 유효성을 검증할 수 있는 조건는 무엇인가?
• RQ2 베이지안 모델 비교는 유효한 기준 모델과 비유효한 기준 모델 간 상대적 타당성을 객관적으로 평가하는 데 어떻게 활용될 수 있는가?
• RQ3 제안된 검정이 배제 위반 및 가상 무작위화 위반을 탐지하는 데 가지는 검정력은 어떠한가, 특히 단조성 조건 하에서?
• RQ4 기준 강도와 단조성이 NPS 검정의 성능에 어떻게 영향을 미치는가?
• RQ5 실증 연구에서 널리 사용되는 기준들이 NPS 프레임워크로 검증되었을 때 얼마나 유효한가?

주요 결과

• NPS 검정은 특히 기준이 단조적이며 중간에서 약한 강도를 가지는 경우, 배제 위반을 탐지하는 데 매우 높은 통계적 검정력을 보인다.
• 단조성이 성립할 경우 검정이 가장 우수한 성능을 보이며, 이는 기준이 치료에 미치는 영향이 수준 간으로 비감소 또는 비증가하는 경우를 의미한다.
• 배제 및 가상 무작위화 조건이 모두 위반될 경우, 딜레트 적분을 통한 주변우도의 닫힌 형태 계산 덕분에 NPS 검정은 강력한 성능 유지를 유지한다.
• 주변우도에 기반한 유효성 비율은 기준 유효성 비교를 위한 원칙적이고 해석 가능한 지표를 제공한다.
• 미국경제학회지(American Economic Review)의 시초적 및 최근 연구들에 NPS 검정을 적용한 결과, 많은 널리 사용되는 기준들이 이산화 과정을 거치면 비유효성이 드러나는 것으로 나타났다.
• 이 방법은 데이터 기반의 기준 유효성 검증 및 탐색을 가능하게 하며, 정성적 도메인 기반의 정당화에 대한 시스템적 대안을 제공한다.