[논문 리뷰] Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond

Nathan Kallus, Xiaojie Mao외 1명|arXiv (Cornell University)|2019. 12. 30.

Advanced Causal Inference Techniques참고 문헌 80인용 수 12

한 줄 요약

이 논문은 매개변수에 의존하는 부수적 요소를 갖는 추정식에서 분위수 처리 효과 및 기타 매개변수에 대한 효율적 추론을 위한 로컬라이즈드 디비어스드 머신러닝(LDML)을 소개한다. LDML은 모든 매개변수 값에서 부수적 함수를 추정하는 데 드는 계산 부담을 피하기 위해 오직 한 개의 초깃값에 대해서만 부수적 함수를 추정함으로써, 전체 부수적 함수 연속체를 알고 있는 오라클 추정기와 동등한 渐近적 효율성을 달성한다.

ABSTRACT

We consider estimating a low-dimensional parameter in an estimating equation involving high-dimensional nuisances that depend on the parameter. A central example is the efficient estimating equation for the (local) quantile treatment effect ((L)QTE) in causal inference, which involves as a nuisance the covariate-conditional cumulative distribution function evaluated at the quantile to be estimated. Debiased machine learning (DML) is a data-splitting approach to estimating high-dimensional nuisances using flexible machine learning methods, but applying it to problems with parameter-dependent nuisances is impractical. For (L)QTE, DML requires we learn the whole covariate-conditional cumulative distribution function. We instead propose localized debiased machine learning (LDML), which avoids this burdensome step and needs only estimate nuisances at a single initial rough guess for the parameter. For (L)QTE, LDML involves learning just two regression functions, a standard task for machine learning methods. We prove that under lax rate conditions our estimator has the same favorable asymptotic behavior as the infeasible estimator that uses the unknown true nuisances. Thus, LDML notably enables practically-feasible and theoretically-grounded efficient estimation of important quantities in causal inference such as (L)QTEs when we must control for many covariates and/or flexible relationships, as we demonstrate in empirical studies.

연구 동기 및 목표

• 분위수 처리 효과(QTE) 추정과 같은 분야에서, 특히 부수적 요소가 추정할 매개변수에 의존할 경우 기존의 디비어스드 머신러닝(DML) 방법의 계산 비용이 너무 높아져 실행 불가능한 문제를 해결한다.
• 분위수 처리 효과를 위한 DML에서 무한차원의 부수적 함수(예: 전체 조건부 누적분포함수)를 추정해야 하는 문제를 해결한다. 이는 고차원 설정에서 실용적이지 않다.
• 오직 한 번의 매개변수 값에서만 부수적 요소를 추정함으로써 계산 복잡도를 극적으로 줄이면서도 渐近적 효율성을 유지하는 방법을 개발한다.
• 표준 오프더쇼프 머신러닝 알고리즘(예: 랜덤 포레스트, 기울기 부스팅)을 매개변수에 의존하는 추정식에서 부수적 요소 추정에 직접 적용할 수 있도록 한다.
• QTE를 넘어서 다른 인과적 추론 및 누락 데이터 문제에 적용 가능한, 이론적으로 탄탄하고 유연한 프레임워크를 제공한다.

제안 방법

• 모든 가능한 값에서가 아니라 오직 한 개의 초깃값에서만 부수적 함수를 추정하는 데이터 분할 기반의 로컬라이즈드 디비어스드 머신러닝(LDML)을 제안한다.
• 대칭 교차검증을 사용하여 목표 매개변수 및 관련 부수적 함수의 추정에서의 편향을 줄이고 정확성을 높인다.
• 부수적 함수 η₁*(Z;θ₁)가 추정할 매개변수 θ₁에 의존하는 매개변수에 의존하는 문제에 추정식 프레임워크를 적용한다.
• 조건부 기대값과 확률과 같은 핵심 부수적 성분을 추정하기 위해 표준 머신러닝 과제(예: 회귀, 분류)를 활용한다.
• 오랜지 추정기(모든 θ₁에 대해 전체 부수적 함수 연속체를 알고 있는)와 LDML 추정기 사이의 渐近적 동치성을, 완화된 추정 속도 조건 하에서 확립한다.
• 고차원적이고 민감한 부수적 추정기 조건에서도 루트-n 渐近 정규성과 효율성을 보장하는 새로운 이론적 프레임워크를 통해 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 부수적 함수가 목표 매개변수에 의존하는 추정식에서, 효율적이고 계산적으로 실행 가능한 추론을 달성할 수 있는가?
• RQ2 모든 매개변수 값에서 부수적 함수를 추정하지 않더라도 여전히 渐近적 효율성을 유지할 수 있는가?
• RQ3 표준 머신러닝 방법을 매개변수에 의존하는 모델의 부수적 추정에 직접 적용할 수 있으며, 이론적 보장에 손상이 가지 않는가?
• RQ4 LDML이 오라클 추정기와 동일한 渐近적 성질을 달성하기 위해 필요한 최소한의 정규성 및 속도 조건은 무엇인가?
• RQ5 복잡한 비선형 관계가 존재하는 고차원 설정에서 LDML은 특히 분위수 처리 효과 추정에 대해 실제로 얼마나 잘 작동하는가?

주요 결과

• LDML은 모든 θ₁에 대해 부수적 함수 η₁*(Z;θ₁)의 전체 연속체를 알고 있는 오라클 추정기와 渐近적 동치성을 확보하여, 오직 한 번의 매개변수 값에서만 부수적 요소를 추정함에도 불구하고 효율성 손실가 없다.
• 이 방법은 오직 두 개의 회귀 함수(예: 조건부 평균과 확률)를 추정하기만 하면 되며, 이는 현대 머신러닝 알고리즘의 표준 과제이다.
• 오랜지 추정기와 동일한 渐近적 성질을 확보하기 위해 요구되는 이전 방법보다 덜 엄격한 속도 조건 하에서도 LDML은 루트-n 渐近 정규성과 효율성을 유지한다.
• 부수적 요소 추정에 사용된 머신러닝 방법의 선택에 대해 추정기의 성능이 민감하지 않아, 랜덤 포레스트나 기울기 부스팅과 같은 오프더쇼프 알고리즘을 자유롭게 활용할 수 있다.
• 실증 연구 결과, LDML은 많은 공변량이나 복잡한 기능 형태를 제어하는 상황에서도 국소 분위수 처리 효과의 실용적이고 정확한 추정을 가능하게 한다.
• 이론적 분석을 통해 핵심 추정 함수가 리프시츠 연속이며 그 도함수들이 유계임을 확인하여 추정기의 안정성과 일致성에 기여한다.