[논문 리뷰] Two Approaches to Direct Estimation of Riesz Representers

David Bruns-Smith|arXiv (Cornell University)|2026. 03. 21.

Statistical Methods and Inference인용 수 0

한 줄 요약

본 논문은 두 가지 직접 추정 접근법을 비교하여 Riesz 표현자의 비정규화(Unregularized) 또는 Ridge 설정에서 동등성을 보이고, 다른 정규화 또는 기계 학습 모델에서는 더 높은 복잡도와 함께 잠재적 이점을 제시합니다. 또한 Chen et al. (2014)의 새로운 제약 최적화 형식을 강조하고 통계적 이점에 대해 논의합니다.

ABSTRACT

The Riesz representer is a central object in semiparametric statistics and debiased/doubly-robust estimation. Two literatures in econometrics have highlighted the role for directly estimating Riesz representers: the automatic debiased machine learning literature (as in Chernozhukov et al., 2022b), and an independent literature on sieve methods for conditional moment models (as in Chen et al., 2014). These two literatures solve distinct optimization problems that in the population both have the Riesz representer as their solution. We show that with unregularized or ridge-regularized linear, sieve, or RKHS models, the two resulting estimators are numerically equivalent. However, for other regularization schemes such as the Lasso, or more general machine learning function classes including neural networks, the estimators are not necessarily equivalent. In the latter case, the Chen et al. (2014) formulation yields a novel constrained optimization problem for directly estimating Riesz representers with machine learning. Drawing on results from Birrell et al. (2022), we conjecture that this approach may offer statistical advantages at the cost of greater computational complexity.

연구 동기 및 목표

• 세미파라메트릭 및 인과 추론 맥락에서 Riesz 표현자를 직접 추정하는 것이 왜 중요한지 동기를 부여한다.
• 자동 바이어스 제거 기계 학습(automatic debiased machine learning) 문헌과 구슬된 모형 조건부 모멘트( sieve-based conditional-moment) 문헌의 두 최적화 형식을 비교한다.
• 두 추정기가 수치적으로 동등하거나 서로 다를 수 있는 조건을 확립하고, 정규화 및 계산에 대한 시사점을 논의한다.

제안 방법

• Riesz 표현자를 서로 다른 목적 함수(Riesz loss 대 Rayleigh quotient)를 갖는 두 최적화 문제의 해로 설명한다.
• 비정규화 또는 ridge-정규화된 선형, sieve, 또는 RKHS 모델에서 추정치가 수치적으로 동등하다는 것을 보여준다.
• Lasso 또는 더 일반적인 ML 함수 클래스에서는 두 추정치가 동등하지 않을 수 있음을 보여준다.
• Chen et al. (2014) 문제를 제약 최적화로 형식화하고 잠재적 계산/통계적 트레이드오프와의 연계를 제시한다.
• ML 함수 클래스에 대한 접근 방식 확장 및 특수한 경우의 GAN 유사 연결 가능성을 논의한다.
• 발전 방향 및 발산의 변분 표현과의 관계를 개략적으로 제시한다.

실험 결과

연구 질문

• RQ1 Chernozhukov et al. (2022a)와 Chen et al. (2014)의 추정기가 수치적으로 동등한지 어떤 모델링 및 정규화 선택 하에서인지?
• RQ2 정규화 선택(예: L2 대 L1)이 두 추정 방식의 동등성에 어떤 영향을 미치는가?
• RQ3 ML 함수 클래스로 Riesz 표현자를 추정하는 제약형 형식이 통계적으로 유리하지만 계산적으로 더 어려운 이점을 제공할 수 있는가?
• RQ4 제약된 Rayleigh-quotient 형식과 밀도비율 문제의 변분 표현 간의 연결고리는 무엇인가?

주요 결과

• 비정규화 또는 ridge-정규화된 선형, sieve, 또는 RKHS 모델은 두 접근법에서 수치적으로 동등한 추정치를 산출한다.
• Lasso 또는 더 일반적인 ML 모델은 두 형식 간에 동등하지 않은 추정치를 만들어 낼 수 있다.
• Chen et al. (2014)는 ML를 사용한 Riesz 표현자를 직접 추정하기 위한 새로운 제약 최적화 문제를 제공한다.
• 제약된 ML 접근법은 계산 복잡도 증가의 대가를 감수하더라도 밀도 비율 추정 및 변분 표현과 관련된 결과를 통해 통계적 이점을 가질 수 있다.