[논문 리뷰] Dual Instrumental Variable Regression

Krikamol Muandet, Arash Mehrjou외 2명|arXiv (Cornell University)|2019. 10. 27.

Statistical Methods and Inference참고 문헌 49인용 수 16

한 줄 요약

이 논문은 비선형 산술변수 회귀 방법인 DualIV를 소개한다. DualIV는 이중단계 IV 추정을 볼록-오목 사다리 문제로 재구성하여, 먼저단계 회귀 없이도 직접적으로 구조적 인과관계 함수를 추정할 수 있도록 한다. 이 방법은 재생 힐버트 공간(RKHS)에서 커널 방법을 사용하며, 이론적 보장과 경쟁적인 경험적 성능을 달성한다.

ABSTRACT

We present a novel algorithm for non-linear instrumental variable (IV) regression, DualIV, which simplifies traditional two-stage methods via a dual formulation. Inspired by problems in stochastic programming, we show that two-stage procedures for non-linear IV regression can be reformulated as a convex-concave saddle-point problem. Our formulation enables us to circumvent the first-stage regression which is a potential bottleneck in real-world applications. We develop a simple kernel-based algorithm with an analytic solution based on this formulation. Empirical results show that we are competitive to existing, more complicated algorithms for non-linear instrumental variable regression.

연구 동기 및 목표

• 기존의 이중단계 IV 방법이 비선형 설정에서 가지는 한계, 특히 먼저단계 회귀 오차에 대한 민감성 문제를 해결하기 위해.
• 먼저단계 회귀의 계산적·통계적 병목 현상에서 벗어나, 일관된 비선형 IV 추정 방법을 개발하기 위해.
• 스토하스틱 프로그래밍에 영감을 얻어, 비선형 IV 회귀를 위한 이론적으로 탄탄한 볼록-오목 최적화 프레임워크를 제공하기 위해.
• RKHS 내 분석적 해를 갖는 커널 기반 방법을 통해 실용적이고 확장 가능한 추정을 가능하게 하기 위해.

제안 방법

• 이중성 원리를 활용하여 비선형 IV 회귀를 볼록-오목 사다리 문제로 재구성함으로써, 먼저단계 회귀가 필요 없도록 한다.
• 직접적으로 함수 공간에서 최적화함으로써, 구조적 인과관계 함수 $ f $ 를 추정하는 이중 공식화를 사용한다.
• 알려지지 않은 구조적 함수와 조건부 기대값을 표현하기 위해 재생 힐버트 공간(RKHS)을 활용한다.
• 커널화된 공분산 및 교차공분산 연산자를 사용하여 분석적 해를 유도하고, 정규화된 경험적 리스크를 최소화한다.
• 안정성과 수렴성을 보장하기 위해 Tikhonov 정규화를 적용하고, 두 개의 하이퍼파rameter $ \lambda_1 $ 과 $ \lambda_2 $ 를 사용한다.
• 적절한 조건 하에서 RKHS 노름에서 추정기의 일관성을 확립하며, 수렴 속도는 $ \lambda_1, \lambda_2 $ 와 표본 크기 $ n $ 에 따라 달라진다.

실험 결과

연구 질문

• RQ1 먼저단계 회귀 없이도 직접적으로 구조적 함수를 추정할 수 있는 이중공식화된 이중단계 IV 회귀를 유도할 수 있는가?
• RQ2 구조적 모델과 감소형 모델 간의 이중성은 어떻게 활용되어 볼록-오목 최적화 문제를 구성할 수 있는가?
• RQ3 비선형 및 비모수적 설정에서 RKHS 내에서 추정기의 일관성을 보장하는 조건은 무엇인가?
• RQ4 기존의 비선형 IV 방법과 비교할 때, 제안된 DualIV 방법의 추정 정확도와 내성성은 어떻게 되는가?
• RQ5 커널 기반 DualIV 추정기의 이론적 수렴 속도는 무엇이며, 하이퍼파rameter는 일관성에 어떤 영향을 미치는가?

주요 결과

• 적절한 정규화와 표본 크기 조건 하에서 DualIV 방법은 RKHS 노름에서 구조적 인과관계 함수 $ f $ 의 일관된 추정을 달성한다.
• 적절한 조건 하에서 추정기의 수렴 속도는 $ \mathcal{O}(1/\lambda_1^2\lambda_2^2\sqrt{n}) $ 이며, 이는 $ \lambda_1, \lambda_2 \to 0 $ 이고 $ 1/(\lambda_1^2\lambda_2^2\sqrt{n}) \to 0 $ 일 때 성립한다.
• 경험적 결과는 DualIV가 비선형 IV 회귀를 위한 더 복잡한 기존 알고리즘들과 경쟁 가능한 성능을 보임을 보여준다.
• 직접 이중 최적화 문제를 푸는 방식으로 먼저단계 회귀의 병목 현상을 피함으로써, 내성성과 확장성을 향상시킨다.
• 이론적 분석은 추정기가 일관되며, 연산자 노름의 경계와 경험적 공분산 연산자의 $ \sqrt{n} $-일관성에 기반한 수렴이 확립됨을 확인한다.
• 커널 기반 공식화는 분석적 해를 가능하게 하며, 치료-결과 관계에 선형성을 가정하지 않는 비모수적 추정을 가능하게 한다.