[논문 리뷰] Double/De-Biased Machine Learning Using Regularized Riesz Representers

Victor Chernozhukov, Whitney K. Newey외 1명|arXiv (Cornell University)|2018. 02. 23.

Statistical Methods and Inference인용 수 19

한 줄 요약

이 논문은 약한 규칙성 조건 하에서 선형 기능수(예: 평균 치료 효과 또는 정책 효과)를 추정하기 위해 정규화된 Riesz 표현자(Representers)를 사용하는 이重/비편향 기계학습 방법을 제안한다. 네이만-수직 추정 방정식을 구성하고, 회귀 함수와 그 Riesz 표현자 양쪽 모두에 L1-정규화 추정을 활용함으로써, 한 쪽이 조밀하고 다른 쪽이 희박한 경우에도 루트-n 점근 정규성과 반-파rametric 효율성을 달성한다.

ABSTRACT

We provide adaptive inference methods for linear functionals of L1-regularized linear approximations to the conditional expectation function. Examples of such functionals include average derivatives, policy effects, average treatment effects, and many others. The construction relies on building Neyman-orthogonal equations that are approximately invariant to perturbations of the nuisance parameters, including the Riesz representer for the linear functionals. We use L1-regularized methods to learn the approximations to the regression function and the Riesz representer, and construct the estimator for the linear functionals as the solution to the orthogonal estimating equations. We establish that under weak assumptions the estimator concentrates in a 1/vn neighborhood of the target with deviations controlled by the normal laws, and the estimator attains the semi-parametric efficiency bound in many cases. In particular, either the approximation to the regression function or the approximation to the Rietz representer can be “dense” as long as one of them is sufficiently “sparse”. Our main results are non-asymptotic and imply asymptotic uniform validity over large classes of models.

연구 동기 및 목표

• 조건부 기대함수의 L1-정규화 근사에 대한 선형 기능수에 대한 적응적 추론 방법을 개발하기 위해.
• 네이만-수직 추정 방정식을 통해 오차항(예: Riesz 표현자 포함)에 대한 민감도를 줄여 강건성을 확보하기 위해.
• 약한 가정 조건 하에서도 반-파라미터 효율성과 루트-n 수렴을 달성하기 위해, 특히 한 쪽 근사(회귀 또는 Riesz 표현자)가 조밀한 경우에도.
• 큰 모델 클래스에 걸쳐 비점근적 농도와 점근적 균일 유효성을 확보하기 위해.

제안 방법

• 오차항(예: Riesz 표현자 포함)에 대한 작은 변화에 대해 근사적으로 불변인 네이만-수직 추정 방정식을 구성하기 위해.
• 선형 기능수의 추정을 위해 회귀 함수와 Riesz 표현자를 모두 L1-정규화 방법으로 추정하기 위해.
• 수정된 추정 방정식의 해로 추정량을 정의함으로써 이중/비편향화를 통해 편향 감소를 보장하기 위해.
• Riesz 표현의 구조를 활용하여 고차원 설정에서 선형 기능수를 조건부 기대함수와 연결하기 위해.
• 모델의 약한 규칙성 조건 하에서도 추정량이 루트-n 수렴과 점근 정규성을 확보하기 위해.
• 한 쪽 근사(회귀 또는 Riesz 표현자)가 조밀하고 다른 쪽이 충분히 희박한 경우에도 효율성을 유지할 수 있도록 하기 위해.

실험 결과

연구 질문

• RQ1 고차원 조건부 기대함수의 선형 기능수에 대해 이중/비편향 추정량을 구성할 수 있는가? 이 경우에도 루트-n 수렴과 점근 정규성을 유지할 수 있는가?
• RQ2 수직 추정 방정식을 통해 회귀 함수와 Riesz 표현자 양쪽의 추정 오차에 대한 강건성을 어떻게 확보할 수 있는가?
• RQ3 어떤 조건에서 추정량이 고차원 설정에서 반-파라미터 효율성을 달성하는가?
• RQ4 한 오차항(회귀 또는 Riesz 표현자)이 조밀하고 다른 쪽이 희박한 경우에도 방법이 유효하게 유지될 수 있는가?
• RQ5 큰 모델 클래스에 걸쳐 추정량은 어떤 비점근적 농도 성질을 보이는가?

주요 결과

• 약한 규칙성 조건 하에서도 제안된 추정량은 루트-n 수렴과 점근 정규성을 달성하며, 편차는 정규분포로 제어된다.
• 다양한 모델에서 반-파라미터 효율성 한계에 도달함으로써 최적의 통계적 성능을 나타낸다.
• 비점근적 농도 결과는 큰 고차원 모델 클래스에 걸쳐 균일한 점근적 유효성을 암시한다.
• 한 쪽 근사(회귀 함수 또는 Riesz 표현자)가 조밀하더라도 다른 쪽이 충분히 희박한 경우에도 방법은 효율성을 유지한다.
• 네이만-수직 방정식의 사용으로 오차항(예: Riesz 표현자 포함)의 추정 오차에 대한 강건성이 보장된다.
• 추정량은 회귀 함수와 Riesz 표현자의 L1-정규화 추정을 통해 구성되며, 이는 고차원 적응성 가능성을 제공한다.