[논문 리뷰] Kernel Instrumental Variable Regression

Rahul Singh, Maneesh Sahani외 1명|arXiv (Cornell University)|2019. 06. 01.

Sparse and Compressive Sensing Techniques참고 문헌 55인용 수 5

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)을 사용하여 내생 변수 $X$, 결과 변수 $Y$, 그리고 도구 변수 $Z$ 간의 관계를 모델링함으로써 이원법 최소제곱법(2SLS)을 비모수적으로 일반화한 커널 도구변수 회귀(KIV)를 제안한다. KIV는 미묘한 가정 하에 일致성과 최소최대 최적 수렴 속도를 달성하며, 단계 간 훈련 샘플 비율에 대한 이론적 보장도 제공하여 비선형 인과 추론에서 최신 기법들을 능가한다.

ABSTRACT

Instrumental variable (IV) regression is a strategy for learning causal relationships in observational data. If measurements of input X and output Y are confounded, the causal relationship can nonetheless be identified if an instrumental variable Z is available that influences X directly, but is conditionally independent of Y given X and the unmeasured confounder. The classic two-stage least squares algorithm (2SLS) simplifies the estimation problem by modeling all relationships as linear functions. We propose kernel instrumental variable regression (KIV), a nonparametric generalization of 2SLS, modeling relations among X, Y, and Z as nonlinear functions in reproducing kernel Hilbert spaces (RKHSs). We prove the consistency of KIV under mild assumptions, and derive conditions under which convergence occurs at the minimax optimal rate for unconfounded, single-stage RKHS regression. In doing so, we obtain an efficient ratio between training sample sizes used in the algorithm's first and second stages. In experiments, KIV outperforms state of the art alternatives for nonparametric IV regression.

연구 동기 및 목표

• 비선형 관계가 존재할 경우 인과 추론을 위한 이원법 최소제곱법(2SLS)의 비모수적 확장을 개발하는 것.
• 비선형성과 측정되지 않은 혼동 요인 존재 시 선형 2SLS의 한계를 해결하는 것.
• 이중 단계 기반 커널 기반 IV 추정기의 이론적 일치성과 최적 수렴 속도를 제공하는 것.
• 최소최대 최적 성능을 달성하기 위해 첫 번째 단계와 두 번째 단계 간 훈련 샘플 크기 비율을 도출하는 것.
• 비선형 및 고차원 설정에서 기존 방법들인 SieveIV, SmoothIV, DeepIV 및 KernelIV에 비해 KIV의 우수한 성능을 실증적으로 보여주는 것.

제안 방법

• 1단계에서 도구 변수 $Z$ 와 내생 변수 $X$ 간의 관계를 RKHS 내 조건부 평균 임bedding을 사용해 모델링한다.
• 2단계에서 1단계에서 구한 조건부 평균 임bedding을 활용하여 커널 리지 회귀를 적용하여 구조 함수 $h(X) = \mathbb{E}[Y|X]$ 를 추정한다.
• 무한차원 RKHS에서의 안정성과 수렴성을 확보하기 위해 두 단계 모두에 Tikhonov 정규화를 적용한다.
• 조건부 평균 임bedding 추정기의 RKHS 노름에서의 수렴 속도를 유도하여 고전적 결과를 무한차원 공간으로 일반화한다.
• 분포 회귀 기법을 응용하여 1단계의 수렴 속도를 2단계에 통합함으로써 종단 간 일치성을 확립한다.
• 실증 성능 향상을 위해 교차검증 유사 알고리즘을 사용해 하이퍼파rameter(스케일 길이, 정규화 강도)를 튜닝한다.

실험 결과

연구 질문

• RQ1 비선형 관계와 측정되지 않은 혼동 요인이 존재하는 상황에서 일치성과 최적 수렴 속도를 유지하는 비모수적 2SLS 일반화를 개발할 수 있는가?
• RQ2 최소최대 최적 수렴 속도를 달성하기 위해 이중 단계 기반 커널 기반 IV 회귀에서 첫 번째 단계와 두 번째 단계 간 훈련 샘플 크기 비율은 어떻게 결정되는가?
• RQ3 평균 제곱오차 및 구조 복원 능력 측면에서 KIV는 SieveIV, SmoothIV, DeepIV와 같은 기존 비모수적 IV 방법에 비해 어떻게 성능가능한가?
• RQ4 RKHS 내 조건부 평균 임bedding의 사용이 밀도 추정 또는 기저 함수 근사보다 $X|Z$ 관계를 더 견고하고 탄력적으로 표현할 수 있는가?
• RQ5 유한 표본 설정에서 KIV는 특히 커널 스케일 길이와 같은 하이퍼파rameter 선택에 얼마나 민감한가?

주요 결과

• KIV는 미묘한 정규성 조건 하에 무한차원 RKHS에서도 두 번째 단계 회귀에 대해 일치성과 최소최대 최적 수렴 속도를 달성한다.
• 이론적 분석을 통해 $X|Z$ 와 $Y|X$ 를 추정하는 데의 상대적 어려움에 따라 1단계와 2단계 간 훈련 샘플 크기 비율의 최적값을 도출하였다.
• 선형 설계에서는 KIV가 Tikhonov 정규화를 적용한 SieveIV와 유사한 성능을 보이며, 커널 선택이 유한차원 기저 함수 방법을 모방할 수 있음을 시사한다.
• 비선형 시그모이드 및 수요 설계에서는 모든 표본 크기에서 KIV가 DeepIV 및 SmoothIV를 포함한 모든 경쟁 기법보다 평균 제곱오차 측면에서 뛰어난 성능을 보였다.
• 안정성 분석 결과 KIV는 커널 스케일 길이 튜닝에 대해 상대적으로 민감하지 않으며, 중앙값 상호거리 값이 신뢰할 수 있는 기본 설정으로 기능한다.
• 실증 결과는 KIV가 비선형 설정에서 특히 다른 방법들이 과적합 또는 $X|Z$ 모델링의 열악함으로 실패하는 상황에서도 진짜 구조 함수의 형태를 성공적으로 복원함을 확인하였다.