[논문 리뷰] Learning L2 Continuous Regression Functionals via Regularized Riesz Representers

Victor Chernozhukov, Whitney K. Newey외 1명|arXiv (Cornell University)|2018. 09. 14.

Statistical Methods and Inference참고 문헌 34인용 수 33

한 줄 요약

이 논문은 L2 연속 회귀 기능에 대한 리에즈 표현자(RR)를 학습하기 위해 라소(Lasso)와 단츠긴 선택자(Dantzig selector) 방법을 제안하며, 이는 탈중립화된 기계학습을 통한 애핀 및 비선형 기능의 루트-n 일致성과 점근 정규성 추정을 가능하게 한다. 주요 기여는 느리게 수렴하는 회귀 학습기조차도 유효한 추론을 유지할 수 있도록 허용하는 강건한 프레임워크를 제공하는 것이다. 이는 새로운 점근 분산 추정량을 통해 달성된다.

ABSTRACT

Many objects of interest can be expressed as an L2 continuous functional of a regression, including average treatment effects, economic average consumer surplus, expected conditional covariances, and discrete choice parameters that depend on expectations. Debiased machine learning (DML) of these objects requires a learning a Riesz representer (RR). We provide here Lasso and Dantzig learners of the RR and corresponding learners of affine and other nonlinear functionals. We give an asymptotic variance estimator for DML. We allow for a wide variety of regression learners that can converge at relatively slow rates. We give conditions for root-n consistency and asymptotic normality of the functional learner. We give results for non affine functionals in addition to affine functionals.

연구 동기 및 목표

• 복잡한 통계적 객체의 탈중립화된 기계학습(DML)에 필수적인 L2 연속 기능에 대한 리에즈 표현자(RR)를 학습하기 위한 신뢰할 수 있는 방법을 개발하는 것.
• 회귀 학습기의 수렴 속도가 느릴 경우에도 기능 추정량의 루트-n 일치성과 점근 정규성을 보장하는 것.
• 기대 조건 공분산과 기대값에 의존하는 이산 선택 매개변수와 같은 비애핀 기능으로 DML를 확장하는 것.
• 회귀 학습기의 규칙성 조건이 약할 경우에도 DML에 대해 유효한 점근 분산 추정량을 제공하는 것.
• 고차원 또는 비모수적 회귀 학습기를 기능 추정에 사용할 경우의 강건성과 이론적 타당성을 보장하는 것.

제안 방법

• L2 공간에서 기능의 리에즈 표현자(RR)를 추정하기 위해 라소와 단츠긴 선택자 방법을 제안하며, 희박성과 정규화를 활용한다.
• 리에즈 표현자를 사용하여 기능의 탈중립화된 추정량을 구성함으로써, 회귀 학습기의 수렴 속도가 약할 경우에도 점근 정규성을 달성한다.
• RR과 회귀 구성요소의 추정 오차를 고려한 DML를 위한 새로운 점근 분산 추정량을 유도한다.
• 기능 추정량이 루트-n 일치성과 점근 정규성을 확보할 수 있는 조건을 설정하며, 이는 느리게 수렴하는 회귀 학습기 조건에서도 성립한다.
• 평균 치료 효과와 기대 조건 공분산과 같은 애핀 및 비선형 기능에 대해 이 프레임워크를 적용한다.
• 기능 추정량의 편향을 줄이고 유효한 추론을 가능하게 하기 위해 RR 추정과 기능 추정을 분리하는 이중/탈중립화 추정 전략을 사용한다.

실험 결과

연구 질문

• RQ1 라소와 단츠긴 선택자는 고차원 또는 비모수적 설정에서 리에즈 표현자를 신뢰성 있게 추정할 수 있는가?
• RQ2 회귀 학습기의 수렴 속도가 느릴 경우, 기능 추정량이 루트-n 일치성과 점근 정규성을 확보할 수 있는 조건은 무엇인가?
• RQ3 L2 연속 기능에 대한 DML에서 유효한 점근 분산 추정을 달성하기 위해선 어떤 조건이 필요한가, 특히 규칙성 조건이 약할 경우에 대해?
• RQ4 이 프레임워크는 평균 치료 효과와 같은 애핀 기능을 넘어서 기대 조건 공분산과 이산 선택 매개변수와 같은 비선형 기능으로 확장될 수 있는가?
• RQ5 리에즈 표현자의 추정 오차가 존재하더라도 기능의 탈중립화된 추정량이 점근 정규성을 유지할 수 있도록 보장하는 이론적 조건은 무엇인가?

주요 결과

• 라소와 단츠긴 선택자 방법은 적절한 희박성 및 수렴 조건 하에서, 회귀 학습기의 수렴 속도가 느릴 경우에도 리에즈 표현자의 루트-n 일치성을 달성한다.
• 제안된 DML를 위한 점근 분산 추정량은 유효하고 강건하여 고차원 및 비모수적 설정에서 정확한 추론을 지원한다.
• 이 프레임워크는 평균 치료 효과와 기대 조건 공분산과 같은 애핀 및 비선형 기능에 대해 점근 정규성과 루트-n 일치성을 보장한다.
• 이론적 타당성은 회귀 학습기의 규칙성 조건이 약할 경우에도 유지되며, 이는 빠르게 수렴하는 추정기만을 대상으로 하는 것보다 적용 범위를 넓힌다.
• 이론적 결과는 기능의 탈중립화된 추정량이 점근 정규성을 갖는다는 것을 입증하여 신뢰구간 및 가설 검정을 가능하게 한다.
• 이 방법은 기대값에 의존하는 이산 선택 매개변수와 같은 복잡한 통계적 객체에 대한 추론을 지원하며, DML의 적용 범위를 확장한다.