[논문 리뷰] Regularized Orthogonal Machine Learning for Nonlinear Semiparametric Models

Denis Nekipelov, Vira Semenova외 1명|arXiv (Cornell University)|2018. 06. 13.

Advanced Causal Inference Techniques참고 문헌 40인용 수 6

한 줄 요약

이 논문은 조건부 모멘트 제약 조건(CMRs)을 가진 비선형 반모수 모형에서 고차원적 희박한 파라미터를 위한 라소 유형 추정기(Lasso-type estimator)를 제안한다. 이는 뉴먼-수직 손실 함수를 사용하여 난이도 함수 추정 오차에 대한 강건성을 확보한다. 손실 함수를 추정 오차와 수직이 되도록 조정함으로써 추정 오차에 영향을 받지 않고 오рак루스 속도 수렴을 달성하며, 이는 기계학습 도구를 사용해 고차원 난이도 성분(예: 성향 스코어 또는 조건부 선택 확률)을 추정할 때에도 유효한 추론을 가능하게 한다.

ABSTRACT

This paper proposes a Lasso-type estimator for a high-dimensional sparse parameter identified by a single index conditional moment restriction (CMR). In addition to this parameter, the moment function can also depend on a nuisance function, such as the propensity score or the conditional choice probability, which we estimate by modern machine learning tools. We first adjust the moment function so that the gradient of the future loss function is insensitive (formally, Neyman-orthogonal) with respect to the first-stage regularization bias, preserving the single index property. We then take the loss function to be an indefinite integral of the adjusted moment function with respect to the single index. The proposed Lasso estimator converges at the oracle rate, where the oracle knows the nuisance function and solves only the parametric problem. We demonstrate our method by estimating the short-term heterogeneous impact of Connecticut's Jobs First welfare reform experiment on women's welfare participation decision.

연구 동기 및 목표

• 반모수 모형에서 단일 인덱스 조건부 모멘트 제약 조건(CMRs)으로 식별되는 파라미터에 대한 고차원 희박 추정 방법을 개발한다.
• 기계학습을 사용할 때 고차원 난이도 함수(예: 성향 스코어 또는 조건부 선택 확률)로부터 발생하는 추정 오차 문제를 다룬다.
• 진짜 난이도 함수가 알려져 있지 않고 정규화를 통해 추정될 경우에도 추정기의 오라클 수렴 속도를 확보한다.
• 수직 손실 함수 기반의 라소 추정기가 균일 수렴성과 루트 n 점근 정규성을 확보할 수 있는 이론적 조건을 설정한다.
• 부분선형 로지스틱 모형과 이질적 치료 효과를 가진 누락 데이터 모형에 대한 적용을 통해 방법의 실용적 유용성을 입증한다.

제안 방법

• 손실 함수는 단일 인덱스에 대한 조정된 모멘트 함수의 부정적 적분으로 구성되며, 단일 인덱스 구조를 유지하면서 수직성을 확보한다.
• 모멘트 함수에 뉴먼-수직화 절차를 적용하여 손실 함수의 기울기가 난이도 함수 추정의 1차 정규화 오차에 민감하지 않도록 한다.
• 조정된 모멘트 함수는 단일 인덱스 성질을 유지하면서도 손실 함수의 기울기가 난이도 성분의 변동(예: p(x), q(x), V(d,x))에 대해 수직이 되도록 유도된다.
• 결과로 얻어진 손실 함수에 라소 추정기를 적용하며, ℓ₁-벌점이 고차원 파라미터 벡터의 희박성을 보장한다.
• 기계학습의 일반화 한계를 확장하여 단일 인덱스 CMRs에 적용하고, 약한 정규성 및 희박성 조건 하에서 이론적 보장을 도출한다.
• 세 가지 설정에서 방법을 검증한다: 이질적 치료 효과가 있는 부분선형 로지스틱 모형, 누락 데이터 모형, 완전 정보가 아닌 정적 게임 모형이며, 각각 오라클 수렴을 위한 충분조건가 제공된다.

실험 결과

연구 질문

• RQ1 조건부 모멘트 제약 조건과 고차원 난이도 함수를 가진 고차원 반모수 모형에서 라소 유형 추정기가 오라클 속도 수렴을 달성할 수 있는가?
• RQ2 난이도 성분의 추정 오차가 파라미터 추정기의 점근 분포에 영향을 주지 않도록 손실 함수를 어떻게 수정할 수 있는가?
• RQ3 어떤 조건에서 수직화된 손실 함수 기반의 라소 추정기는 ℓ₁-제한된 파라미터 구역에서 균일 수렴성을 확보하는가?
• RQ4 수직성의 기울기와 추론의 타당성을 보장하기 위해 난이도 함수 추정기의 충분한 원천 조건은 무엇인가?
• RQ5 제안된 방법은 정책 실험에서 이질적 치료 효과 추정과 같은 실제 원인 분석 문제에 적용될 수 있는가?

주요 결과

• 제안된 라소 추정기는 약한 정규성 및 희박성 조건 하에서 오라클 속도로 수렴하며, 이는 진짜 난이도 함수가 알려져 있을 경우와 동일한 수렴 속도를 달성함을 의미한다.
• 모멘트 함수의 수직화는 손실 함수의 기울기가 난이도 함수의 1차 변동에 민감하지 않음을 보장하며, 이는 고차원 추정 오차가 존재하더라도 유효한 추론을 가능하게 한다.
• Connecticut의 Jobs First 복지 개혁에 대한 실증 적용에서, 이 방법은 복지 참여에 대한 이질적 치료 효과를 성공적으로 탐지하였으며, 수직 손실이 신뢰할 수 있는 추론을 위해 필수적임을 보여주었다.
• 이론적 분석은 조정된 모멘트 함수의 부정적 적분 기반 손실 함수가 볼록 케이스에서 ℓ₁-정규화 M-추정기의 전역 수렴을 보장함을 확인하였으며, 이는 Negahban 등(2012)의 결과를 따름.
• 부분선형 로지스틱 모형과 누락 데이터 모형의 경우, 표본 모멘트가 ℓ₁-제한된 집합에서 인구 모멘트로의 균일 수렴을 달성하며, 일반화 한계를 단일 인덱스 CMRs로 확장한다.
• 난이도 함수 추정기의 수렴 속도(예: p(x), q(x), V(d,x))는 √(log p / n)와 추정 오차 비율 πₙ, qₙ를 포함하는 항들로 제한되며, 이는 전체 수렴 보장을 구성한다.