[논문 리뷰] Proximal Causal Learning with Kernels: Two-Stage Estimation and Moment Restriction

Afsaneh Mastouri, Yuchen Zhu외 6명|PolyPublie (École Polytechnique de Montréal)|2021. 05. 10.

Statistical Methods and Inference참고 문헌 58인용 수 9

한 줄 요약

이 논문은 관측된 대체 변수를 사용하여 관측되지 않은 혼동요인을 가진 비선형 근접 인과 모델에서 비선형 인과 효과 추정을 위한 두 가지 커널 기반 방법—이단계 회귀와 최대 모멘트 제약 조건—을 제안한다. 일致성 보장을 수립하고, 합성 및 실제 세계 유사 데이터에서 이전 방법들보다 뛰어난 성능을 보이며, 특히 대체 변수를 효과적으로 활용하는 데서 두각을 나타낸다.

ABSTRACT

We address the problem of causal effect estimation in the presence of unobserved confounding, but where proxies for the latent confounder(s) are observed. We propose two kernel-based methods for nonlinear causal effect estimation in this setting: (a) a two-stage regression approach, and (b) a maximum moment restriction approach. We focus on the proximal causal learning setting, but our methods can be used to solve a wider class of inverse problems characterised by a Fredholm integral equation. In particular, we provide a unifying view of two-stage and moment restriction approaches for solving this problem in a nonlinear setting. We provide consistency guarantees for each algorithm, and we demonstrate these approaches achieve competitive results on synthetic data and data simulating a real-world task. In particular, our approach outperforms earlier methods that are not suited to leveraging proxy variables.

연구 동기 및 목표

• 관측되지 않은 혼동요인이 존재하지만 그에 대한 대체 변수가 가용할 경우 평균 치료 효과(Average Treatment Effect, ATE)를 추정하는 데 도전하는 것.
• 커널 방법을 사용하여 근접 인과 학습 프레임워크에서 비모수적이고 일致하는 인과 효과 추정 방법을 개발하는 것.
• 프레드홀름 적분 방정식을 통한 비선형 역문제 해결을 위해 이단계 회귀와 모멘트 제약 조건 접근법을 연결하는 통합 프레임워크를 제공하는 것.
• 이전 방법들이 일치성 보장을 갖지 못하거나 비선형 설정에서 대체 변수를 효과적으로 활용하지 못하는 한계를 극복하는 것.

제안 방법

• 벡터 값 RKHS와 힐베르트-슈미트 연산자를 사용하여, 관측된 대체 변수 $W$ 의 조건부 기대값 임베딩 $\mu_{W|A,X,Z}$ 를 첫 번째 단계에서 추정하는 이단계 커널 기반 회귀 접근법을 제안한다.
• 두 번째 단계에서 추정된 조건부 기대값 임베딩 $\mu_{W|A,X,Z}$ 를 사용하여, $\mathbb{E}[Y - h(A,W,X) \mid A,Z,X]$ 의 조건부 기대값을 추정하고, 커널화된 위험 기능을 최소화한다.
• 재생 커널 힐베르트 공간(RKHS) 내에서 표현된 조건부 모멘트 제약 조건 $\mathbb{E}[Y - h(A,W,X) \mid A,Z,X]$ 의 노름을 최소화하는 최대 모멘트 제약 조건 접근법을 수립한다.
• 표현 정리(Representer Theorem)와 특성 및 ISPD 커널의 성질을 활용하여, RKHS 프레임워크 내에서 해의 존재성과 유일성을 보장한다.
• 조건부 기대값 임베딩이 연산자에 대한 RKHS에 포함된다는 정규성 조건 하에서, 두 방법의 일치성을 수립한다.
• 프레드홀름 적분 방정식과 커널 방법을 기반으로 한 공통 이론적 프레임워크 아래에서 이단계 및 모멘트 제약 조건 접근법을 통합한다.

실험 결과

연구 질문

• RQ1 관측되지 않은 혼동요인이 존재하고 대체 변수가 가용할 경우, 커널 기반 방법이 평균 치료 효과를 일관되게 추정할 수 있는가?
• RQ2 근접 인과 학습의 비선형 설정에서 이단계 회귀와 모멘트 제약 조건 접근법을 어떻게 통합하고 확장할 수 있는가?
• RQ3 이 프레임워크에서 커널 기반 이단계 및 모멘트 제약 조건 추정기의 이론적 일치 보장은 무엇인가?
• RQ4 이러한 방법들은 비선형 설정에서 대체 변수를 효과적으로 활용하지 못하는 기존 방법들과 비교해 실제로 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 이단계 커널 방법은 조건부 기대값 임베딩 $C_{W|A,X,Z}$ 가 벡터 값 RKHS의 연산자에 속해 있다는 가정 하에 일관성을 확보한다.
• 최대 모멘트 제약 조건 접근법은 일관성이 있으며, 조건부 모멘트 제약 조건의 RKHS 노름을 최소화하는 것과 동치이며, 이는 해가 거의 확실히 모멘트 조건을 만족함을 보장한다.
• 두 방법 모두 근접 인과 모델을 특징짓는 프레드홀름 적분 방정식 제1종을 해결하는 데 이론적으로 기반한다.
• 실험 결과로 제안된 방법이 대체 변수를 활용하도록 설계되지 않은 이전 방법들보다 뛰어난 성능을 보이며, 특히 비선형 설정에서 두각을 나타낸다.
• 합성 데이터와 실제 세계의 학업 유예 작업을 시뮬레이션한 데이터에서 두 방법은 경쟁적인 성능을 보이며, 비대체 변수 인식 방법에 비해 편향 감소가 뚜렷하다.
• 이론적 분석을 통해 커널화된 위험 기능 $R_k(h)$ 의 최소화자는 조건부 모멘트 제약 조건을 만족하는 것과 동치임을 확인하여 진정한 인과 효과의 식별이 보장됨을 입증한다.