[논문 리뷰] Deep Neural Networks for Estimation and Inference

Max H. Farrell, Tengyuan Liang외 1명|RePEc: Research Papers in Economics|2018. 09. 26.

Statistical Methods and Inference인용 수 7

한 줄 요약

이 논문은 깊이 있는 신경망(DNN)을 사용한 1단계 추정 이후에 처음으로 타당한 반모수적 추론 프레임워크를 수립하며, 깊이가 표본 크기와 함께 증가하는 ReLU 활성화를 갖는 깊이 있는 피드포워드 네트워크에 대해 새로운 비점근 수렴 속도를 증명한다. 핵심 기여는 DNN이 최소최대 최적의 추정 속도를 달성할 수 있음을 보여주며, 치료 효과와 같은 인과적 매개변수에 대한 타당한 추론을 가능하게 한다.

ABSTRACT

We study deep neural networks and their use in semiparametric inference. We establish novel rates of convergence for deep feedforward neural nets. Our new rates are sufficiently fast (in some cases minimax optimal) to allow us to establish valid second-step inference after first-step estimation with deep learning, a result also new to the literature. Our estimation rates and semiparametric inference results handle the current standard architecture: fully connected feedforward neural networks (multi-layer perceptrons), with the now-common rectified linear unit activation function and a depth explicitly diverging with the sample size. We discuss other architectures as well, including fixed-width, very deep networks. We establish nonasymptotic bounds for these deep nets for a general class of nonparametric regression-type loss functions, which includes as special cases least squares, logistic regression, and other generalized linear models. We then apply our theory to develop semiparametric inference, focusing on causal parameters for concreteness, such as treatment effects, expected welfare, and decomposition effects. Inference in many other semiparametric contexts can be readily obtained. We demonstrate the effectiveness of deep learning with a Monte Carlo analysis and an empirical application to direct mail marketing.

연구 동기 및 목표

• 산업에서 널리 사용되고 있음에도 불구하고, 깊이 있는 학습 추정 이후의 추론에 대한 이론적 간극을 메우기 위해.
• 깊이가 표본 크기와 함께 증가하는 ReLU 활성화를 갖는 깊이 있는 피드포워드 신경망에 대한 비점근 수렴 속도를 수립하기 위해.
• 이러한 빠른 수렴 속도가 유한차원의 관심 매개변수(예: 인과 효과)에 대한 2단계 추론을 타당하게 지원하는지 보여주기 위해.
• 일반적인 비모수적 회귀 유형의 손실 함수(예: 최소제곱, 로지스틱 회귀, GLMs 포함)로 이론을 확장하기 위해.
• 선택 모형, 동적 이산 선택, 게임 모형을 포함한 표준 경제학 모형에 깊이 있는 학습을 통합할 기초를 마련하기 위해.

제안 방법

• 제곱 오차 및 로그우도를 포함한 일반적인 손실 함수 하에서 깊이 있는 신경망에 대한 비점근 경계를 유도한다.
• 모델링에서 네트워크 깊이를 표본 크기와 함께 증가시키며, 현대 딥 러닝 관행을 반영한다.
• 표준적인 딥 러닝 응용에서 널리 사용되는 ReLU 활성화 함수를 사용한다.
• 일부 경우에서 최소최대 최적 수렴 속도를 확립하여 2단계 추론을 가능하게 한다.
• 평균 치료 효과 및 복지 측정치와 같은 반모수적 추정에 인과 매개변수를 적용한다.
• 몬테카를로 시뮬레이션과 직접 우표 마케팅에 대한 실증 적용을 통해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 깊이 있는 신경망은 1단계 추정 이후 타당한 반모수적 추론을 지원할 수 있을 정도로 충분히 빠른 추정 속도를 달성할 수 있는가?
• RQ2 표본 크기와 함께 증가하는 깊이를 갖는 ReLU 활성화를 갖는 깊이 있는 피드포워드 네트워크의 비점근 수렴 속도는 무엇인가?
• RQ3 이러한 속도는 일반적인 비모수적 손실 함수(예: 일반선형모형의 경우 포함)에서도 여전히 유효한가?
• RQ4 깊이 있는 학습은 치료 효과와 같은 인과 매개변수에 대한 2단계 추론에서 신뢰성 있게 사용될 수 있는가?
• RQ5 실제로 정규화(예: 드롭아웃)가 비정규화 모델 대비 추론 성능에 어떤 영향을 미치는가?

주요 결과

• 이 논문은 깊이가 증가하는 ReLU 활성화를 갖는 깊이 있는 신경망에 대해 최소최대 최적 수렴 속도를 수립하며, 이는 타당한 추론을 가능하게 한다.
• 딥 러닝 기반 1단계 추정은 평균 치료 효과와 같은 유한차원 매개변수에 대한 타당한 2단계 추론을 지원한다.
• 몬테카를로 시뮬레이션에서 8~9층의 DNN은 20개 및 100개의 공변량에 대해 근사적으로 명목 수준의 커버리지(93~95%)와 낮은 편향(0.002 이하)을 달성했다.
• 정규화(예: 드롭아웃)가 적용된 경우에도 커버리지가 명목 수준에 가까웠지만, 비정규화 모델 대비 편향과 신뢰구간 길이가 증가했다.
• 직접 우표 마케팅에 대한 실증 적용에서 딥 러닝은 전통적 방법보다 치료 효과 추정에서 뛰어난 성능을 보였다.
• 이론적 결과는 선택 모형, 동적 이산 선택, 게임 추정을 포함한 반모수적 모형으로 광범위하게 적용 가능하다.