[논문 리뷰] The Risk of Machine Learning

Alberto Abadie, Maximilian Kasy|arXiv (Cornell University)|2017. 03. 31.

Statistical Methods and Inference참고 문헌 29인용 수 5

한 줄 요약

이 논문은 고차원적 설정에서 일반적으로 발생하는 실증경제학의 맥락에서, 정규화된 기계학습 추정기—리지드, 라소, 프리테스트—의 위험(평균제곱오차)을 분석한다. 데이터 기반으로 정규화 파라미터를 선정하는 방법(스테인의 무편향 위험 추정 또는 교차검증)이 최적(실현 불가능한) 선택과 균일하게 가까운 위험을 갖는 추정기를 도출함을 보여주며, 적용 연구자들이 추정기 선택과 조정 파라미터 선택에 실질적인 지침을 제공한다.

ABSTRACT

Many applied settings in empirical economics involve simultaneous estimation of a large number of parameters. In particular, applied economists are often interested in estimating the effects of many-valued treatments (like teacher effects or location effects), treatment effects for many groups, and prediction models with many regressors. In these settings, machine learning methods that combine regularized estimation and data-driven choices of regularization parameters are useful to avoid over-fitting. In this article, we analyze the performance of a class of machine learning estimators that includes ridge, lasso and pretest in contexts that require simultaneous estimation of many parameters. Our analysis aims to provide guidance to applied researchers on (i) the choice between regularized estimators in practice and (ii) data-driven selection of regularization parameters. To address (i), we characterize the risk (mean squared error) of regularized estimators and derive their relative performance as a function of simple features of the data generating process. To address (ii), we show that data-driven choices of regularization parameters, based on Stein's unbiased risk estimate or on cross-validation, yield estimators with risk uniformly close to the risk attained under the optimal (unfeasible) choice of regularization parameters. We use data from recent examples in the empirical economics literature to illustrate the practical applicability of our results.

연구 동기 및 목표

• 고차원 추정 문제에서 적용 경제학자들이 리지드, 라소, 프리테스트 추정기 중에서 어떤 것을 선택할 것인지에 대한 실질적 지침을 제공하기 위해.
• 고정 및 오라클 최적 정규화 파라미터 하에서 정규화된 추정기의 위험(평균제곱오차)을 분석하기 위해.
• 정규화 파라미터 선택을 위한 데이터 기반 방법(스테인의 무편향 위험 추정, SURE 및 교차검증)의 위험 최소화 성능을 평가하기 위해.
• 희박성과 분산과 같은 데이터 생성 과정의 특성에 따라 추정기의 상대적 성능을 특성화하기 위해.
• 많은 치료 효과, 부분군 효과, 고차원 예측 모델이 포함된 설정으로 이론적 위험 분석을 확장하기 위해.

제안 방법

• 관측된 $X_1, \ldots, X_n$ 에서 많은 평균 $\mu_1, \ldots, \mu_n$ 을 추정하는 모델링을 수행하며, 여기서 $X_i$ 는 $\mu_i$ 의 잡음 있는 추정기이다. 이는 치료 효과나 예측 모델링과 같은 응용을 포함한다.
• 성분별 추정기 $\widehat{\mu}_i = m(X_i, \lambda)$ 를 정의하며, 여기서 $\lambda$ 는 정규화 파라미터이다. $\lambda=0$ 은 정규화되지 않은 추정을 의미하고, $\lambda>0$ 은 0으로의 수축을 유도한다.
• 계층 모형 하에서 추정기와 실현 불가능한 최적 사후 평균 사이의 거리에 따라 추정기의 위험(평균제곱오차)을 유도한다.
• 희박성(0에 대한 점질량 포함)과 정규 조건부 분포를 포함한 파라미터 모형을 사용하여 오라클 $\lambda$ 하에서 분석적 위험 함수를 도출한다.
• 스테인의 무편향 위험 추정(SURE)과 교차검증을 적용하여 $\lambda$ 의 데이터 기반 선택을 수행하며, 오라클 위험에 대해 위험의 균일 수렴을 증명한다.
• 분포 클래스 $\mathcal{Q}$ 에 대해 확률에 대한 균일 수렴을 활용하여, 데이터 기반 기준이 근사 최적 위험을 갖는 $\lambda$ 를 일致적으로 선택함을 확립한다.

실험 결과

연구 질문

• RQ1 희박성과 분산 측면에서 다양한 데이터 생성 과정 하에서 리지드, 라소, 프리테스트 추정기의 위험 특성은 어떻게 비교되는가?
• RQ2 스테인의 무편향 위험 추정 또는 교차검증을 통한 데이터 기반 정규화 파라미터 선택의 이론적 성능은 실현 불가능한 오라클 선택에 비해 어떠한가?
• RQ3 고차원 추정 설정에서 리지드가 라소나 프리테스트를 초월하는 조건은 무엇인가?
• RQ4 정규화된 추정기의 위험은 진정한 파rameter $\mu_i$ 의 분포, 특히 0 효과의 비율에 따라 어떻게 달라지는가?
• RQ5 SURE 및 교차검증과 같은 데이터 기반 기준에 대해, 광범위한 분포 클래스에 걸쳐 위험의 균일 수렴을 확립할 수 있는가?

주요 결과

• 최적의 정규화된 추정기는 $X_i$ 와 $\mu_1, \ldots, \mu_n$ 의 경험적 분포를 고려한 $\mu_i$ 의 사후 평균이며, 이는 위험 분석의 기준이 된다.
• 희박성(0에 대한 점질량 포함)과 정규 조건부 분포를 가진 파라미터 모형 하에서, 진짜 0의 비율이 작을 경우 리지드가 라소 및 프리테스트를 능가한다.
• 스테인의 무편향 위험 추정(SURE)을 통한 $\lambda$ 의 데이터 기반 선택은 오라클 최적 $\lambda$ 의 위험에 대해 균일하게 수렴하는 추정기를 도출한다.
• 교차검증 역시 분포 클래스 $\mathcal{Q}$ 에 대한 규칙성 조건 하에서 오라클 위험에 대해 균일하게 가까운 위험을 갖는 추정기를 생성한다.
• 정규화되지 않은 최대우도 추정기($\widehat{\mu}_i = X_i$) 의 위험은 $\sigma_i^2$ 이며, $\mu_i$ 가 0에 가까울 경우 정규화된 추정기에 의해 열등하게 된다.
• 라소의 조건을 충족하고 $|x|\widehat{f}(x)$ 가 균일하게 일致적으로 추정될 경우, 프리테스트 추정기의 SURE 기준에 대한 균일 수렴이 성립한다.