[논문 리뷰] Exploiting Independent Instruments: Identification and Distribution Generalization

Sorawit Saengkyongam, Leonard Henckel외 2명|arXiv (Cornell University)|2022. 02. 03.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 원인인과 추론을 향상시키기 위해 도구변수와 잔차 간의 통계적 인식을 활용하는 기울기 기반 추정기인 HSIC-X와 HSIC-X-pen을 제안한다. 힐버트-슈미트 독립성 기준(HSIC)을 활용하여 유한 표본 효율성을 향상시키고, 분포 이탈 조건에서도 최악의 경우 최적 성능을 달성한다. 이는 과소정의된 설정에서도 가능하다.

ABSTRACT

Instrumental variable models allow us to identify a causal function between covariates $X$ and a response $Y$, even in the presence of unobserved confounding. Most of the existing estimators assume that the error term in the response $Y$ and the hidden confounders are uncorrelated with the instruments $Z$. This is often motivated by a graphical separation, an argument that also justifies independence. Positing an independence restriction, however, leads to strictly stronger identifiability results. We connect to the existing literature in econometrics and provide a practical method called HSIC-X for exploiting independence that can be combined with any gradient-based learning procedure. We see that even in identifiable settings, taking into account higher moments may yield better finite sample results. Furthermore, we exploit the independence for distribution generalization. We prove that the proposed estimator is invariant to distributional shifts on the instruments and worst-case optimal whenever these shifts are sufficiently strong. These results hold even in the under-identified case where the instruments are not sufficiently rich to identify the causal function.

연구 동기 및 목표

• 원인인과 추정을 향상시키기 위해 도구변수와 잔차 간의 독립성을 활용하는 실용적인 방법을 개발하는 것.
• 2차 모멘트의 비상관관계를 초월하는 고차 모멘트 제약 조건을 통합하여 유한 표본 성능을 향상시키는 것.
• 특히 과소정의된 설정에서 도구변수에 대한 분포 이탈에 대해 불변성을 가지는 추정기를 구축하는 것.
• 모든 기울기 기반 기계학습 회귀 방법과 호환되는 모odular 프레임워크를 제공하는 것.

제안 방법

• 도구변수 Z와 잔차 Y−f(X) 사이의 힐버트-슈미트 독립성 기준(HSIC)을 최소화하여 통계적 독립성을 강제하는 HSIC-X를 제안한다.
• 특성 커널(예: 가우시안)을 사용하여 HSIC가 Z와 잔차가 독립일 때에만 0이 되도록 보장한다.
• 최적화에 확률적 경사하강법을 사용하며, 수렴을 향상시키기 위해 2SLS 또는 OLS 해를 초기값으로 설정한다.
• Z에 대한 간섭 조건에서도 최악의 경우 강건성을 확보하기 위해 최적화하는 펜alties가 부여된 HSIC-X-pen을 도입한다.
• 기울기 하강법로 훈련되는 비모수 회귀 모델과 모듈러하게 통합된다.
• 추론을 위해 부트스트랩 기반 접근법을 통해 신뢰 영역을 제공한다.

실험 결과

연구 질문

• RQ1 도구변수와 잔차 간의 완전한 독립성을 활용하면 비상관관계 기반 방법보다 더 나은 유한 표본 원인인과 추정을 가능하게 할 수 있는가?
• RQ2 독립성 기반 추정은 전통적인 IV 방법에 비해 효율성과 강건성 측면에서 어떻게 비교되는가?
• RQ3 원인 함수가 관찰 데이터로부터 정의되지 않을 때조차도 독립성 제약 조건이 분포에 강건한 추정기를 제공할 수 있는가?
• RQ4 유한 표본에서 고차 의존성은 추정 성능에 어떤 영향을 미치는가?
• RQ5 도구변수에 대한 분포 이탈 조건 하에서 독립성 기반 방법이 표준 IV 추정기보다 우월한가?

주요 결과

• 분포 이탈 조건 하에서 HSIC-X는 AR 및 OLS보다 예측 성능이 뛰어나며, 불변성과 정확성 사이의 최적의 트레이드오프를 달성한다.
• 교육과 소득에 대한 실세계 데이터에서, HSIC-X는 2SLS(0.050–0.273)보다 좁은 95% 신뢰구간(0.097–0.208)을 제공하며, OLS 추정치(0.072)를 포함하지 않아, 더 강력한 유한 표본 효율성을 보여준다.
• HSIC-X의 신뢰 영역은 OLS 추정치를 포함하지 않아, 독립성 제약 조건이 더 정보가 풍부한 추론을 가능하게 한다고 시사한다.
• HSIC-X-pen은 과소정의된 설정에서도 Z에 대한 간섭 조건 하에서 최악의 경우 최적 성능을 달성한다.
• 실험 결과에 따르면, 잔차와 도구변수 간의 고차 의존성을 활용하면 추정 성능을 향상시킬 수 있으며, 특히 2차 비상관관계만으로는 부족할 경우에 특히 유용하다.
• 이 방법은 모듈러하며, 기울기 기반 비모수 회귀 모델과 어떤 조합에도 적용 가능하므로 광범위한 적용 가능성을 지닌다.