[논문 리뷰] Debiased Machine Learning without Sample-Splitting for Stable Estimators

Qizhao Chen, Vasilis Syrgkanis외 1명|arXiv (Cornell University)|2022. 06. 03.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 첫 번째 단계 추정 알고리즘이 $o(n^{-1/2})$ 이탈-한 개체 안정성 조건을 만족할 경우, 표본 분할 없이도 원인 추정량에 대해 루트-$n$ 일致성과 점근 정규성을 달성하는 비편향화된 기계학습 프레임워크를 제안한다. 핵심 기여는 중간 크기의 표본에서 표본 재사용을 가능하게 하며, 이론적 보장이 서브샘플링 없이 시행하는 부트스트래핑과 같은 앙상블 방법으로까지 확장된다는 점이다.

ABSTRACT

Estimation and inference on causal parameters is typically reduced to a generalized method of moments problem, which involves auxiliary functions that correspond to solutions to a regression or classification problem. Recent line of work on debiased machine learning shows how one can use generic machine learning estimators for these auxiliary problems, while maintaining asymptotic normality and root-$n$ consistency of the target parameter of interest, while only requiring mean-squared-error guarantees from the auxiliary estimation algorithms. The literature typically requires that these auxiliary problems are fitted on a separate sample or in a cross-fitting manner. We show that when these auxiliary estimation algorithms satisfy natural leave-one-out stability properties, then sample splitting is not required. This allows for sample re-use, which can be beneficial in moderately sized sample regimes. For instance, we show that the stability properties that we propose are satisfied for ensemble bagged estimators, built via sub-sampling without replacement, a popular technique in machine learning practice.

연구 동기 및 목표

• 표본 분할이 필요 없이 비편향화된 기계학습에서 원인 추정량의 점근 정규성과 루트-$n$ 일치성을 유지하면서 표본 분할의 필요성을 제거하는 것.
• 기존의 두 단계 추정에서 표본 분할 없이도 유효한 추론이 유지되기 위한 최소한의 정규성 조건—특히 이탈-한 개체 안정성—을 규명하는 것.
• 서브샘플링 없이 시행하는 부트스트래핑과 같은 실용적 기계학습 방법으로도 이론적 보장을 확장하는 것.
• 복잡한 비모수적 기계학습 모델을 원인 추론에 사용하기 위한 이론적 기반을 제공하여 추론의 타당성을 포기하지 않도록 하는 것.

제안 방법

• 첫 번째 단계의 부수적 추정량 $\hat{g}$ 에 대해 $o(n^{-1/2})$ 이탈-한 개체 안정성 조건을 도입하여 기존의 도네스커 또는 평균 제곱오차 조건을 대체한다.
• 첫 번째 단계 추정량이 이탈-한 개체 안정성을 만족할 경우, 추정 오차가 목표 파am터 $\theta$ 에 미치는 영향이 제2차로 작아지며, 이는 점근 정규성을 가능하게 한다는 것을 증명한다.
• 주요 보조정리를 통해 안정성 및 연속성 조건 하에서 경험적 모멘트 과정 $G_n(\hat{\theta}, \hat{g})$ 가 $G_n(\theta_0, g_0)$ 에 대해 $o_p(n^{-1/2})$ 이내로 근사 가능하다는 것을 보여준다.
• 모멘트 함수의 비선형성에 대해 안정성 및 연속성 조건을 야코비안과 모멘트 함수로 확장하여 비선형 모멘트 함수에 적용한다.
• 서브샘플링 없이 시행하는 부트스트래핑 추정량이 서브샘플 크기 $m = o(\sqrt{n})$ 일 때 요구되는 안정성 조건을 만족함을 보여준다.
• 확률적 등연속성과 경험 과정 이론을 활용하여 진짜 파am터 하에서 경험적 모멘트가 기대값에서 벗어나지 않도록 제어한다.

실험 결과

연구 질문

• RQ1 표본 분할 없이도 비편향화된 기계학습에서 점근 정규성과 루트-$n$ 일치성을 달성할 수 있는가?
• RQ2 첫 번째 단계 추정량에 대해 두 단계 추정에서 유효한 추론을 보장하기 위한 최소한의 정규성 조건은 무엇인가?
• RQ3 서브샘플링 없이 시행하는 부트스트래핑과 같은 앙상블 방법이 표본 분할 없이 추론을 위해 요구하는 안정성 조건을 만족하는가?
• RQ4 부수적 추정량의 안정성이 모멘트 조건 추정에서 목표 파am터의 점근 분포에 어떻게 영향을 미치는가?

주요 결과

• 논문은 부수적 추정량 $\hat{g}$ 가 $o(n^{-1/2})$ 이탈-한 개체 안정성을 만족할 경우, 표본 분할 없이도 $\hat{\theta}$ 가 점근 정규성과 루트-$n$ 일치성을 확보할 수 있음을 입증한다.
• 서브샘플링 없이 시행하는 부트스트래핑 추정량은 서브샘플 크기 $m$ 이 $\sqrt{n}$ 보다 느리게 증가할 경우 요구되는 안정성 조건을 만족한다.
• 이 방법은 전체 표본을 재사용할 수 있어, 표본 분할으로 인한 데이터 손실이 심각한 중간 크기의 표본에서 효율성을 향상시킨다.
• 모멘트 함수 및 야코비안 함수가 부수적 함수에 대해 리프시츠 유형의 연속성 조건을 만족할 경우, 이론적 프레임워크는 비선형 모멘트 함수로까지 확장된다.
• 이전 연구보다 더 약한 안정성 조건을 요구하므로, 더 넓은 범위의 기계학습 모델에 적용 가능하다.