[논문 리뷰] Automatic Debiased Machine Learning via Neural Nets for Generalized Linear Regression

Victor Chernozhukov, Whitney K. Newey외 2명|arXiv (Cornell University)|2021. 01. 01.

Statistical Methods and Inference참고 문헌 77인용 수 5

한 줄 요약

이 논문은 잔차가 회귀자와 수직인 일반선형 회귀모형에서 매개변수를 추정하기 위한 자동화된 신경망 기반 비편향화 기계학습 프레임워크를 제안한다. 이 프레임워크는 오직 관심 대상과 잔차만을 사용하여 종단 간 편향 보정을 학습함으로써 점차적 정규성과 일致한 분산 추정을 달성하며, 신경망 및 일반 학습자에 대한 수렴 속도가 입증된 바 있다.

ABSTRACT

We give debiased machine learners of parameters of interest that depend on generalized linear regressions, which regressions make a residual orthogonal to regressors. The parameters of interest include many causal and policy effects. We give neural net learners of the bias correction that are automatic in only depending on the object of interest and the regression residual. Convergence rates are given for these neural nets and for more general learners of the bias correction. We also give conditions for asymptotic normality and consistent asymptotic variance estimation of the learner of the object of interest.

연구 동기 및 목표

• 일반선형 회귀모형에서 관심 있는 매개변수에 대한 완전히 자동화된 비편향 기계학습 접근법을 개발하는 것.
• 관심 대상과 회귀 잔차 외에 다른 요소 없이 편향 보정의 수동 조정을 제거하는 것.
• 신경망 기반의 편향 보정 학습자와 일반 학습자에 대한 수렴 속도를 확립하는 것.
• 관심 있는 매개변수의 최종 추정자에 대해 점차적 정규성과 일致한 점차적 분산 추정을 확보하는 것.

제안 방법

• 이 방법은 관심 대상과 잔차로부터 직접 편향 보정 항을 학습하는 신경망을 구축한다.
• 잔차와 회귀자 간의 수직 조건을 활용하여 일반선형 모형에서 타당한 추론을 보장한다.
• 신경망은 편향 보정의 영향 함수를 근사하도록 훈련되어, 외부 조정 없이 자동 적응이 가능하도록 한다.
• 정규 조건 하에서 신경망 및 일반 학습자에 대한 편향 보정의 수렴 속도가 도출된다.
• 모델과 신경망 아키텍처에 대한 약한 모멘트 및 매끄러움 조건 하에서 최종 추정자의 점차적 정규성이 입증된다.
• 학습된 편향 보정을 사용한 플러그인 방법을 통해 점차적 분산의 일치 추정이 달성된다.

실험 결과

연구 질문

• RQ1 일반선형 모형에서 비편향 기계학습에 대해 신경망을 사용하여 편향 보정을 자동으로 학습시킬 수 있는가?
• RQ2 이 설정에서 신경망 기반의 편향 보정 학습자에 대한 수렴 속도는 무엇인가?
• RQ3 관심 있는 매개변수의 최종 추정자가 점차적 정규성을 확보하는 조건는 무엇인가?
• RQ4 편향 보정의 수동 특정이 필요 없이 일치한 점차적 분산 추정을 달성할 수 있는가?
• RQ5 잔차가 회귀자와 수직일 경우, 제안된 방법은 어떻게 타당한 추론을 보장하는가?

주요 결과

• 제안된 신경망 기반 편향 보정은 일반선형 모형 설정에서 알려진 일반 비편향 학습자에 대한 수렴 속도를 충족한다.
• 모델과 신경망 아키텍처에 대한 정규 조건 하에서 최종 추정자의 점차적 정규성이 입증된다.
• 학습된 편향 보정을 사용하여 점차적 분산의 일치 추정이 가능하여 타당한 추론이 가능하다.
• 이 방법은 완전히 자동화되어 있으며, 오직 관심 대상과 잔차만을 입력으로 요구하며, 편향 보정 구성 요소의 수동 조정이 필요 없다.
• 이론적 구조에 의해 인과적 영향과 정책 효과의 추정이 가능해지며, 일반선형 회귀 구조 내에 통합된다.