[논문 리뷰] General Control Functions for Causal Effect Estimation from Instrumental Variables

Aahlad Puli, Rajesh Ranganath|arXiv (Cornell University)|2019. 07. 08.

Advanced Causal Inference Techniques참고 문헌 5인용 수 6

한 줄 요약

이 논문은 변분 분리(VDE)를 통해 일반 제어 함수를 구성함으로써 산술 변수(IVs)를 사용한 인과적 영향 추정을 위한 새로운 접근법인 일반 제어 함수 방법(GCFN)을 제안한다. GCFN은 인과적 식별을 보장하기 위해 구조적 치료 과정 가정 또는 준감독형 혼란 변수 감시를 통해 무시 가능성과 정규성 조건을 확보함으로써 2SLS나 CFN보다 더 약한 가정 조건 하에서도 식별 가능성을 확보한다. 시뮬레이션과 노예 수출 데이터에서의 실제 신뢰도 추정에서 기존 방법들을 능가한다.

ABSTRACT

Causal effect estimation relies on separating the variation in the outcome into parts due to the treatment and due to the confounders. To achieve this separation, practitioners often use external sources of randomness that only influence the treatment called instrumental variables (IVs). We study variables constructed from treatment and IV that help estimate effects, called control functions. We characterize general control functions for effect estimation in a meta-identification result. Then, we show that structural assumptions on the treatment process allow the construction of general control functions, thereby guaranteeing identification. To construct general control functions and estimate effects, we develop the general control function method (GCFN). GCFN's first stage called variational decoupling (VDE) constructs general control functions by recovering the residual variation in the treatment given the IV. Using VDE's control function, GCFN's second stage estimates effects via regression. Further, we develop semi-supervised GCFN to construct general control functions using subsets of data that have both IV and confounders observed as supervision; this needs no structural treatment process assumptions. We evaluate GCFN on low and high dimensional simulated data and on recovering the causal effect of slave export on modern community trust.

연구 동기 및 목표

• 2SLS나 CFN과 같은 기존 IV 기반 인과 추정기의 한계를 해결하기 위해, 승수 상호작용이나 잘못된 잡음 가정 조건 하에서도 실패하는 문제를 해결한다.
• 결과 과정에 대한 구조적 가정이 필요 없이 무시 가능성과 정규성을 보장하는 일반 제어 함수 프레임워크를 개발한다.
• 부분적으로 혼란 변수 관측치가 있는 데이터를 활용하여 구조적 치료 가정 없이도 공동 독립성을 보장하는 GCFN의 준감독형 변형을 제안한다.
• 저차원 및 고차원 시뮬레이션 데이터에서의 정확성과 안정성, 그리고 노예 수출이 현대 공동체의 신뢰에 미치는 영향을 추정하는 실제 인과 추론 과제에서 GCFN의 강건성과 정확성을 입증한다.

제안 방법

• 메타-식별 결과 제안: 제어 함수가 일반적일 조건은 (1) 제어 함수와 IV가 치료를 재구성하고, (2) 혼란 변수와 제어 함수가 IV와 공동으로 독립일 때 성립한다.
• GCFN의 첫 번째 단계로 변분 분리(VDE)를 개발하였으며, 이는 치료를 재구성하면서도 IV와 통계적으로 독립인 제어 함수를 학습하는 신경망 오토인코더이다.
• 두 번째 단계에서 VDE로 학습된 제어 함수를 사용하여 무시 가능성을 기반으로 하는 어떤 방법(예: 매칭 또는 이중 강건 추정)을 통해 영향을 추정한다.
• 관측된 혼란 변수가 일부 데이터에서 존재하는 조건에서 제어 함수를 정렬하는 확장된 VDE를 사용한 준감독형 GCFN을 도입하여, 구조적 치료 가정 없이도 공동 독립성을 확보한다.
• VDE에서 IV와 제어 함수 간의 통계적 독립성을 강제하기 위해 적대적 훈련과 독립성 제약 조건을 사용한다.
• VDE와 결과 모델 모두에 표준 최적화(Adam, 학습률 스케줄링)와 검증 MSE를 통한 모델 선택 기법을 적용한다.

실험 결과

연구 질문

• RQ1 결과 과정에 대한 강력한 가정 없이도 무시 가능성과 정규성을 보장하는 일반 제어 함수를 구성할 수 있는가?
• RQ2 변분 분리(VDE)를 어떻게 활용하여 관측되지 않은 혼란 변수와 공동 독립 조건을 만족하는 제어 함수를 학습할 수 있는가?
• RQ3 비선형 상호작용이나 잘못된 결과 모델 가정 조건이 존재하는 환경에서 GCFN이 2SLS, CFN, DeepIV보다 우수한 성능을 보일 수 있는가?
• RQ4 혼란 변수 관측치가 일부 데이터에만 존재하는 조건에서 준감독형 GCFN이 정확한 인과 추정을 수행할 수 있는가?
• RQ5 GCFN은 고차원 환경과 실제 인과 추론 과제(예: 노예 수출이 현대 공동체의 신뢰에 미치는 영향 추정)에서 강건하고 효과적인가?

주요 결과

• 비선형 결과 과정을 가진 저차원 시뮬레이션에서 CFN의 가정 위반 조건 하에서도 GCFN은 RMSE 0.3 ± 0.1을 기록했고, CFN는 정확한 모델 사양에도 불구하고 RMSE 1.5 ± 0.1로 실패했다.
• 고차원 IV 실험에서 GCFN은 DeepGMM 및 DeepIV와 유사한 성능을 보였으며, 여러 실행 및 하이퍼파라미터 설정에서 효과 MSE가 유사하게 유지되었다.
• 고차원 공변수 시뮬레이션에서 GCFN은 DeepGMM 및 DeepIV와 유사하거나 뛰어난 성능을 보였으며, 정규화 파라미터 κ가 증가할수록 효과 MSE가 감소했다.
• 준감독형 GCFN은 관측된 혼란 변수가 있는 부분 데이터에서 결과 회귀 모델보다 유의미하게 뛰어난 성능을 보였으며, 제어 함수 학습의 가치를 제한된 감독 조건에서도 입증했다.
• GCFN은 노예 수출이 현대 공동체의 신뢰에 미치는 영향을 성공적으로 복원하여 실제 적용 가능성에 대한 타당성을 입증했다.
• 이론적 분석을 통해 강력한 IV와 구조적 가정(예: 덧셈형 치료) 하에서 VDE는 재구성과 공동 독립성을 보장하며, 이는 식별성 보장을 보장한다.