[논문 리뷰] Automatic Debiased Machine Learning via Riesz Regression

Victor Chernozhukov, Whitney K. Newey외 2명|arXiv (Cornell University)|2021. 04. 30.

Neural Networks and Applications인용 수 9

한 줄 요약

이 논문은 신경망을 사용하여 편향 보정 항을 추정하는 자동화된 비편향 기계학습 프레임워크를 제안한다. 일반선형 회귀 모수에 대해, 네이만-수직 모멘트 함수를 구성하고 보정 함수에 대한 수렴 속도를 제공함으로써, 최소한의 모델링 가정 하에 점근 정규성과 타당한 추론을 달성한다.

ABSTRACT

A variety of interesting parameters may depend on high dimensional regressions. Machine learning can be used to estimate such parameters. However estimators based on machine learners can be severely biased by regularization and/or model selection. Debiased machine learning uses Neyman orthogonal estimating equations to reduce such biases. Debiased machine learning generally requires estimation of unknown Riesz representers. A primary innovation of this paper is to provide Riesz regression estimators of Riesz representers that depend on the parameter of interest, rather than explicit formulae, and that can employ any machine learner, including neural nets and random forests. End-to-end algorithms emerge where the researcher chooses the parameter of interest and the machine learner and the debiasing follows automatically. Another innovation here is debiased machine learners of parameters depending on generalized regressions, including high-dimensional generalized linear models. An empirical example of automatic debiased machine learning using neural nets is given. We find in Monte Carlo examples that automatic debiasing sometimes performs better than debiasing via inverse propensity scores and never worse. Finite sample mean square error bounds for Riesz regression estimators and asymptotic theory are also given.

연구 동기 및 목표

• 표준 기계학습자가 신뢰구간을 약화시키는 편향을 유발하는 고차원적, 비선형적 회귀 설정에서의 추론 문제를 해결한다.
• 보정 함수의 형태에 대한 명시적 지식이 필요 없이, 비편향 기계학습에서 편향 보정 항을 모델에 종속되지 않고 자동으로 추정하는 방법을 개발한다.
• 회귀 함수와 보정 함수 학습자에 대한 속도 조건을 결합하고 교차-피팅을 사용하여 관심 파ameter의 점근 정규성과 일致한 분산 추정을 보장한다.
• 기존의 비편향 학습 프레임워크를 일반선형 회귀로 일반화하여, 인과적 효과나 정책 효과를 포함한 최소한의 정규성 조건 하에서 다루는 데 목적이 있다.
• 비판적 반경과 근사 속도 이론을 사용하여 신경망 기반의 보정 함수 학습자에 대한 수렴 속도를 제공한다.

제안 방법

• 회귀 잔차와 보정 함수 $\alpha_0$의 곱을 식별 모멘트에 더하여 네이만-수직 모멘트 함수를 구성함으로써, 회귀 모델이 모멘트에 영향을 미치는 1차 효과가 없도록 보장한다.
• 진짜 $\alpha_0$에서 최소화되는 목적 함수를 정의하며, 이는 관심 대상과 회귀 잔차에만 의존하여 자동 학습이 가능하도록 한다.
• 데이터를 사용하여 목적 함수를 비모수적으로 추정하고 최소화함으로써 $\alpha_0$의 신경망 학습자를 구한다. 수렴 속도는 비판적 반경과 근사 속도 조건에서 유도된다.
• 모델 선택에서 발생하는 편향을 제거하고, 회귀 학습자에 대한 도네스커 조건을 피하기 위해 교차-피팅을 사용하여, 잘못된 모형 설정 하에서도 강건성을 향상시킨다.
• 회귀 학습자와 $\alpha_0$ 학습자의 수렴 속도의 곱이 $n^{-1/2}$보다 더 빨리 감소할 조건 하에서, 관심 파ameter의 복합 추정자가 점근 정규성이 되고 분산 추정이 일致함을 확립한다.
• 포스터와 시르가니스(2019) 및 페어러 등(2021)의 결과를 적용하여, 네트워크 폭, 깊이, 입력 차원, 회귀 함수의 매끄러움 정도에 따라 신경망 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 일반선형 회귀에 의존하는 파ameter에 대해, 고차원적, 비선형적, 또는 잘못된 모형 설정이 가능한 상황에서도 강건한 비편향 기계학습 추정자를 구성할 수 있는가?
• RQ2 보정 함수 $\alpha_0$의 기능 형태에 대한 사전 지식 없이, 관심 대상과 회귀 잔차만을 사용하여 자동으로 $\alpha_0$를 학습할 수 있는가?
• RQ3 신경망 기반의 $\alpha_0$ 학습자에 대해 달성 가능한 수렴 속도는 무엇이며, 네트워크 아키텍처와 기저 회귀 함수의 매끄러움 정도에 따라 어떻게 달라지는가?
• RQ4 관심 파ameter의 최종 추정자가 점근 정규성과 일치한 분산 추정을 갖기 위한 조건는 무엇인가?
• RQ5 교차-피팅을 사용하여 모델 선택에서 발생하는 편향을 제거하고, 회귀 학습자에 대한 도네스커 조건 없이도 강건한 추론을 확보할 수 있는가?

주요 결과

• 제안된 방법은 회귀 학습자와 $\alpha_0$ 학습자의 평균 제곱 수렴 속도의 곱이 $n^{-1/2}$보다 더 빨리 감소할 조건 하에서 파am터 추정자의 점근 정규성을 달성한다.
• 비선형 파ameter나 잔차가 있는 경우, 회귀 학습자는 평균 제곱 수렴 속도가 $n^{-1/4}$보다 더 빨라야 하며, 이는 편향 보정을 위한 충분한 정밀도를 확보하기 위함이다.
• 신경망 기반의 $\alpha_0$ 학습자는 비판적 반경과 근사 속도 이론에서 도출된 네트워크 폭, 깊이, 입력 차원, 회귀 함수의 매끄러움 정도에 따라 수렴 속도를 갖는다.
• 교차-피팅은 모델 선택에서 발생하는 편향을 효과적으로 제거하고, 회귀 학습자에 대한 도네스커 조건이 필요 없음을 보장하여 강건성을 향상시킨다.
• 모멘트 함수의 네이만-수직 구조 덕분에, 잘못된 모형 설정 하에서도 분산 추정이 일치하고 점근 정규성이 보장된다.
• 유계성, 수렴 속도 및 모멘트 조건에 대한 가정에 기반하여 점근 정규성과 일치한 분산 추정의 증명을 통해 이론적 결과가 검증된다.