[논문 리뷰] Minimax Kernel Machine Learning for a Class of Doubly Robust Functionals.

AmirEmad Ghassami, Andrew Ying외 2명|arXiv (Cornell University)|2021. 04. 07.

Statistical Methods and Inference참고 문헌 44인용 수 9

한 줄 요약

이 논문은 이중으로 강건한 기능을 추정하기 위해, 오차 간 의존성을 최소화하는 최소최대 최적화 프레임워크를 통해 위험 함수 간의 의존성을 최소화하는 최소최대 커널 기계학습 접근법을 제안한다. 오차 곱률과 연산자의 불안정성에 기반한 조건 하에서 渐近적 선형성을 확립함으로써, 재생 커널 힐버트 공간과 라데마처 복잡도 분석을 활용하여 잠재적 혼동요인 존재하더라도 비모수적 평균 인과효과 추정이 가능하게 한다.

ABSTRACT

A moment function is called doubly robust if it is comprised of two nuisance functions and the estimator based on it is a consistent estimator of the target parameter even if one of the nuisance functions is misspecified. In this paper, we consider a class of doubly robust moment functions originally introduced in (Robins et al., 2008). We demonstrate that this moment function can be used to construct estimating equations for the nuisance functions. The main idea is to choose each nuisance function such that it minimizes the dependency of the expected value of the moment function to the other nuisance function. We implement this idea as a minimax optimization problem. We then provide conditions required for asymptotic linearity of the estimator of the parameter of interest, which are based on the convergence rate of the product of the errors of the nuisance functions, as well as the local ill-posedness of a conditional expectation operator. The convergence rates of the nuisance functions are analyzed using the modern techniques in statistical learning theory based on the Rademacher complexity of the function spaces. We specifically focus on the case that the function spaces are reproducing kernel Hilbert spaces, which enables us to use its spectral properties to analyze the convergence rates. As an application of the proposed methodology, we consider the parameter of average causal effect both in presence and absence of latent confounders. For the case of presence of latent confounders, we use the recently proposed proximal causal inference framework of (Miao et al., 2018; Tchetgen Tchetgen et al., 2020), and hence our results lead to a robust non-parametric estimator for average causal effect in this framework.

연구 동기 및 목표

• 모델 오Specification이 존재하는 상황에서도 이중 강건 모멘트 함수로 정의된 매개변수를 위한 강건한 비모수적 추정 방법을 개발하는 것.
• 관측된 혼동요인과 관측되지 않은 혼동요인 둘 다 존재할 수 있는 상황에서, 보조 인과추론 프레임워크를 사용하여 인과효과를 추정하는 과제를 해결하는 것.
• 위험 함수 추정 오차의 수렴 속도와 조건부 기대 연산자의 불안정성에 기반한 매개변수 추정기의 渐近적 선형성에 대한 충분조건을 확립하는 것.
• 현대 통계학적 학습 이론, 특히 재생 커널 힐버트 공간 내에서의 라데마처 복잡도를 활용하여 위험 함수의 수렴 속도를 분석하는 것.
• 두 위험 함수 중 하나가 잘못 지정되어도 일관성을 유지하는 이론적으로 탄탄한 비모수적 추정기로서 평균 인과효과를 추정하는 것.

제안 방법

• 추정 문제를 최소최대 최적화 문제로 재구성: 기대 모멘트 함수가 다른 위험 함수에 대한 민감도를 최소화하도록 설정하여 안장점 문제로 이어진다.
• 위험 함수를 모델링하기 위해 재생 커널 힐버트 공간(RKHS)을 사용하며, 수렴 속도 분석을 위해 그들의 스펙트럼 성질을 활용한다.
• RKHS에 특화된 라데마처 복잡도 경계를 사용하여 위험 함수 추정기의 수렴 속도를 유도함으로써 추정 오차를 통제한다.
• 이중 강건 모멘트 함수의 구조에 기반한 위험 함수 추정 방정식을 구성하여 공동 추정을 가능하게 한다.
• 두 위험 함수의 추정 오차의 곱과 국소적 불안정성의 조건부 기대 연산자의 분석을 통해 매개변수 추정기의 渐近적 선형성을 확립한다.
• 잠재적 혼동요인이 존재하는 보조 인과추론 설정에서 평균 인과효과 추정에 이 프레임워크를 적용한다. 기존 방법은 실패할 수 있으나, 본 방법은 성능을 유지한다.

실험 결과

연구 질문

• RQ1 모델 오Specification 하에서 이중 강건 기능을 위한 최소최대 커널 기계학습 접근법을 사용하여 강건한 추정기를 구성할 수 있는가?
• RQ2 위험 함수 추정기의 수렴 속도에 대한 조건은 무엇이며, 이는 매개변수 추정기의 渐近적 선형성을 보장하는가?
• RQ3 조건부 기대 연산자의 국소적 불안정성이 추정 효율성과 수렴 속도에 어떤 영향을 미치는가?
• RQ4 잠재적 혼동요인이 존재할 경우, 제안된 방법이 평균 인과효과의 일관된 추정을 달성할 수 있는가?
• RQ5 RKHS의 스펙트럼 성질은 추정 오차 통제와 이론적 보장을 위한 핵심적인 역할을 하는가?

주요 결과

• 제안된 최소최대 커널 기계학습 방법은 위험 함수 추정 오차의 곱과 조건부 기대 연산자의 불안정성에 관련된 조건 하에서 매개변수 추정기의 渐近적 선형성을 보장한다.
• 위험 함수의 수렴 속도는 재생 커널 힐버트 공간 내에서의 라데마처 복잡도 경계를 통해 도출되며, 이는 추정 오차에 대한 이론적 통제를 제공한다.
• 이 방법은 이중 강건성을 달성한다: 두 위험 함수 중 하나가 잘못 지정되어도 추정기는 일관성을 유지한다.
• 본 프레임워크는 보조 인과추론 설정 하에서 잠재적 혼동요인이 존재하는 상황에서도 평균 인과효과의 비모수적 추정을 지원한다.
• RKHS의 스펙트럼 성질은 조건부 기대 연산자의 불안정성을 특성화하고 유한 표본 오차 경계를 도출하는 데 핵심적인 역할을 한다.
• 최소한의 부드러움 가정 하에서도 이론적 보장을 확립하여, 복잡한 의존 구조를 가진 광범위한 반모수 모델 클래스에 적용 가능하다.