[논문 리뷰] De-Biased Machine Learning of Global and Local Parameters Using Regularized Riesz Representers

Victor Chernozhukov, Whitney K. Newey외 1명|arXiv (Cornell University)|2018. 02. 23.

Statistical Methods and Inference인용 수 26

한 줄 요약

이 논문은 고차원 모델에서 전역 및 국소 파rameter에 대한 편향 보정 기계학습을 가능하게 하기 위해 ℓ₁-정규화된 추정을 사용하는 정규화된 Riesz 표현자 방법을 제안한다. 노이만-수직성 추정 방정식을 구성함으로써 노이즈 함수의 미세한 변화에 대해 안정된 보정을 제공함으로써, 비정규 기능성과 느린 수렴 속도를 가진 기능성에 대해서도 일관된 추론과 균일한 점근적 타당성, 비점근적 가우시안 근사가 보장된다.

ABSTRACT

We provide adaptive inference methods, based on $\ell_1$ regularization, for regular (semi-parametric) and non-regular (nonparametric) linear functionals of the conditional expectation function. Examples of regular functionals include average treatment effects, policy effects, and derivatives. Examples of non-regular functionals include average treatment effects, policy effects, and derivatives conditional on a covariate subvector fixed at a point. We construct a Neyman orthogonal equation for the target parameter that is approximately invariant to small perturbations of the nuisance parameters. To achieve this property, we include the Riesz representer for the functional as an additional nuisance parameter. Our analysis yields weak ``double sparsity robustness'': either the approximation to the regression or the approximation to the representer can be ``completely dense'' as long as the other is sufficiently ``sparse''. Our main results are non-asymptotic and imply asymptotic uniform validity over large classes of models, translating into honest confidence bands for both global and local parameters.

연구 동기 및 목표

• 고차원 설정에서 조건부 회귀 함수의 선형 기능성에 대한 일관된 추론을 위한 일반적 프레임워크를 개발하는 것.
• 약한 식별성 또는 비정규성 하에서 기계학습 추정기의 편향 문제를 해결하는 것, 특히 전역 및 국소 파rameter를 타깃으로 할 때.
• 일반적인 (1/√n 속도) 및 비정규적인 (1/√n 속도 이하) 기능성에 대해 동일한 강력한 프레임워크를 사용하여 추정 및 추론을 통합하는 것.
• 모델 잘못 지정에 대해 강건한 ℓ₁-정규화된 Riesz 표현자 추정에 대한 비점근적 이론을 제공하는 것.
• 이전에 문헌에서 다루지 않았던 국소 파arameter, 예를 들어 조건부 평균 치료 효과 등에 대해 더블 머신러닝을 확장하는 것.

제안 방법

• 기능성의 Riesz 표현자를 추가적인 노이즈 파ram터로 포함시켜 노이만-수직성 추정 방정식을 구성함으로써 더블 로버스트성을 달성한다.
• 직접 밀도나 성향 점수 추정을 피하기 위해, Riesz 표현자를 암묵적으로 특징짓는 경험적 모멘텀 조건을 풀기 위해 ℓ₁-정규화된 추정을 사용한다.
• 과적합 오차를 줄이고 고차원 모델 전반에서 균일한 타당성을 확보하기 위해 크로스피팅(샘플 분할)을 적용한다.
• 약한 더블 스파arsity 강건성 확보: 즉, 회귀 모델이나 Riesz 표현자 중 하나는 조밀할 수 있지만, 다른 하나는 희박해야 하며, 이로써 모델 잘못 지정에 대한 강건성을 확보한다.
• 가우시안 근사 이론을 활용하여, 정규화된 회귀 추정 하에서 DML 추정기의 비점근적 정규성을 도출한다.
• 선형화를 통해 비선형 기능성으로의 확장을 가능하게 하였으며, 이는 저자들의 후속 연구에서 제시되었다.

실험 결과

연구 질문

• RQ1 고차원 모델에서 전역 및 국소 파arameter에 대해 일관된 추론을 유지하는 편향 보정 기계학습 추정기를 구성할 수 있는가?
• RQ2 느린 수렴 속도를 가진 기능성을 추정할 때 균일한 점근적 타당성과 비점근적 가우시안 근사를 보장하기 위해 어떻게 해야 하는가?
• RQ3 Riesz 표현자가 일반적 및 비정규 기능성에 대해 모두 노이만 수직성을 달성하는 데 어떤 역할을 하는가?
• RQ4 Riesz 표현자의 ℓ₁-정규화된 추정이 평균 치료 효과나 평균 도함수와 같이 도함수나 역행렬 추정을 직접적으로 피할 수 있는가?
• RQ5 모델 잘못 지정 하에서도 이 방법이 해석 가능성과 강건성을 유지하는 방식은 무엇인가?

주요 결과

• 제안된 방법은 정규화된 추정 하에서 DML 추정기의 비점근적 가우시안 근사를 달성하여 일관된 신뢰구간을 가능하게 한다.
• 추정기는 약한 더블 스파arsity 강건성을 보이며, 즉 회귀 모델이나 Riesz 표현자 중 하나는 조밀해도 되고, 다른 하나는 희박해야 하므로, 모델 잘못 지정에 대해 강건하다.
• 국소 파arameter의 경우, 수렴 속도가 L/√n (L → ∞) 로서 점근적 정규성을 달성하며, 조건부 평균 치료 효과와 같은 비정규 기능성도 포함된다.
• Riesz 표현자는 직접적인 밀도나 역성향 점수 추정을 피하기 위해 ℓ₁-정규화된 모멘텀 조건을 통해 추정되며, 이는 고차원에서의 안정성을 향상시킨다.
• 수렴 속도가 희박성 및 부드러움 가정에 따라 달라지며, 조밀한 모델 하에서도 느린 속도를 포함하여, 다양한 모델 클래스에 대해 균일한 타당성을 보장한다.
• 모델 잘못 지정 하에서도 회귀 함수의 투영에 대한 선형 기능성을 추정함으로써, 추론의 해석 가능성을 유지한다.