[논문 리뷰] Instrumental Variable Regression via Kernel Maximum Moment Loss

Rui Zhang, Masaaki Imaizumi외 2명|arXiv (Cornell University)|2020. 10. 15.

Statistical Methods and Inference참고 문헌 64인용 수 10

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 커널 최대 모멘트 손실을 사용하여 비선형 인스트루멘탈 변수(IV) 추정을 경험적 위험 최소화 문제로 재구성하는 새로운 비선형 IV 회귀 프레임워크인 MMR-IV를 제안한다. U/V-통계량과 정재성 커널을 활용하여 유일한 해를 가지며, 일致성과 점근 정규성을 확보한 추정기들을 얻으며, 가우시안 프로세스 해석을 통한 효율적인 초매개변수 선택이 가능해져, 시뮬레이션 및 실제 데이터 실험에서 기존 방법들을 능가한다.

ABSTRACT

We investigate a simple objective for nonlinear instrumental variable (IV) regression based on a kernelized conditional moment restriction (CMR) known as a maximum moment restriction (MMR). The MMR objective is formulated by maximizing the interaction between the residual and the instruments belonging to a unit ball in a reproducing kernel Hilbert space (RKHS). First, it allows us to simplify the IV regression as an empirical risk minimization problem, where the risk functional depends on the reproducing kernel on the instrument and can be estimated by a U-statistic or V-statistic. Second, based on this simplification, we are able to provide the consistency and asymptotic normality results in both parametric and nonparametric settings. Lastly, we provide easy-to-use IV regression algorithms with an efficient hyper-parameter selection procedure. We demonstrate the effectiveness of our algorithms using experiments on both synthetic and real-world data.

연구 동기 및 목표

• 관찰 데이터에서 관측되지 않은 혼란 요인을 가진 비선형 IV 회귀 문제를 해결하기 위해.
• 비선형 IV 추정의 복잡한 최대-최소 최적화 문제를 안정적이고 단일 단계의 경험적 위험 최소화(ERM) 문제로 단순화하기 위해.
• 재생 커널 힐버트 공간(RKHS)과 커널 방법을 사용하여 파arametric 및 비모수 설정 모두에 대해 일관성과 점근 정규성이라는 이론적 보장을 수립하기 위해.
• 가우시안 프로세스 해석을 통해 MMR-IV를 해석함으로써 실용적이고 효율적인 초매개변수 선택 절차를 개발하기 위해.
• 기존 IV 방법들과 비교하여 시뮬레이션 및 실제 데이터 세트에서 더 뛰어난 성능과 강건성을 보여주기 위해.

제안 방법

• 재생 커널 힐버트 공간(RKHS) 내 잔차와 도구변수 간의 커널화된 상호작용을 최대화함으로써 조건부 모멘트 제약 조건을 최대 모멘트 제약 조건(MMR) 목적함수로 재구성한다.
• 커널 기반 모멘트 제약 조건의 U-통계량 또는 V-통계량 추정기로 MMR 위험을 경험적 위험 최소화(ERM) 문제로 표현한다.
• 정재성 커널의 성질과 함수 미분 기법을 활용하여 MMR 목적함수의 닫힌 형식 해를 유도한다.
• 두 가지 알고리즘을 제안한다: 커널 함수를 사용하는 MMR-IV(RKHS)와 비선형 모델링에 유연성을 제공하는 신경망을 사용하는 MMR-IV(NN).
• ERM 형태를 가우시안 프로세스 우도로 매핑함으로써 새로운 초매개변수 선택 방법을 도입하여 효율적인 조정을 가능하게 한다.
• 기능 미분과 점근 이론을 적용하여 미약한 정규성 조건과 완비성 조건 하에서 추정기의 점근 분포를 유도한다.

실험 결과

연구 질문

• RQ1 커널 방법을 사용하여 비선형 IV 회귀에 대해 단일 단계의 경험적 위험 최소화 프레임워크를 구축할 수 있는가?
• RQ2 제안된 MMR-IV 방법은 파arametric 및 비모수 설정 모두에서 일관성과 점근 정규성을 달성하는가?
• RQ3 커널 함수의 선택이 MMR-IV 추정기의 점근 효율성에 어떤 영향을 미치는가?
• RQ4 가우시안 프로세스 해석을 통해 MMR-IV에 대해 체계적이고 효율적인 초매개변수 선택 절차를 개발할 수 있는가?
• RQ5 MMR-IV는 실제 데이터 및 시뮬레이션 데이터에서 기존의 이단계 및 최대-최소 기반 IV 회귀 방법들과 비교해 성능 면에서 어떻게 뛰어나게 되는가?

주요 결과

• MMR-IV 프레임워크는 재생 커널 힐버트 공간(RKHS) 내 커널화된 모멘트 제약 조건을 사용하여 복잡한 최대-최소 IV 최적화 문제를 안정적이고 단일 단계의 ERM 문제로 변환한다.
• 커널 함수의 정재성 성질 덕분에 유일한 최소화자가 보장되어 해의 유일성을 보장한다.
• MMR-IV 추정기의 점근 정규성이 파arametric 및 비모수 설정 모두에서 입증되어 신뢰구간 및 가설 검정과 같은 통계적 추론이 가능하다.
• 추정기의 점근 분산은 커널의 선택에 따라 달라지며, 논문에서는 다양한 커널 간의 효율성 트레이드오프를 유도한다.
• 가우시안 프로세스 해석을 통해 MMR-IV 목적함수를 우도로 해석함으로써 새로운 초매개변수 선택 기법을 개발하여 효율적이고 체계적인 조정이 가능해졌다.
• 실험 결과 MMR-IV는 유전 및 경제 분야의 실제 데이터 세트를 포함한 시뮬레이션 및 실제 데이터 세트에서 기존 방법들보다 정확도와 강건성 면에서 뛰어난 성능을 보였다.