[논문 리뷰] Minimax rates for heterogeneous causal effect estimation

Edward H. Kennedy, Sivaraman Balakrishnan외 2명|arXiv (Cornell University)|2022. 03. 02.

Advanced Causal Inference Techniques인용 수 5

한 줄 요약

이 논문은 헬더-스무쓰한 비모수 모델 하에서 이질적 인과효과 추정에 대한 최소최대 속도를 확립하며, 고차 영향 함수를 기반으로 한 국소 다항 R-러너 추정기법을 제안한다. 주요 기여는 비표준적인 무릎 현상(non-standard elbow phenomenon)을 드러내는 최소최대 하한선을 제시하고, 비모수 회귀와 기능 추정 속도 사이의 이국적인 인터폴레이션을 규명함으로써, CATE를 회귀/기능 혼합형으로 정량화한다는 점이다.

ABSTRACT

Estimation of heterogeneous causal effects - i.e., how effects of policies and treatments vary across subjects - is a fundamental task in causal inference. Many methods for estimating conditional average treatment effects (CATEs) have been proposed in recent years, but questions surrounding optimality have remained largely unanswered. In particular, a minimax theory of optimality has yet to be developed, with the minimax rate of convergence and construction of rate-optimal estimators remaining open problems. In this paper we derive the minimax rate for CATE estimation, in a Holder-smooth nonparametric model, and present a new local polynomial estimator, giving high-level conditions under which it is minimax optimal. Our minimax lower bound is derived via a localized version of the method of fuzzy hypotheses, combining lower bound constructions for nonparametric regression and functional estimation. Our proposed estimator can be viewed as a local polynomial R-Learner, based on a localized modification of higher-order influence function methods. The minimax rate we find exhibits several interesting features, including a non-standard elbow phenomenon and an unusual interpolation between nonparametric regression and functional estimation rates. The latter quantifies how the CATE, as an estimand, can be viewed as a regression/functional hybrid.

연구 동기 및 목표

• 비모수 헬더-스무쓰 모델에서 조건부 평균 치료 효과(CATE) 추정의 최소최대 수렴 속도를 확립하는 것.
• 약간의 정규성 조건 하에서 이 최소최대 속도를 달성하는 이론적으로 최적의 추정기법을 개발하는 것.
• 최소최대 속도가 부수적 기능(회귀 및 성향 점수)의 스무쓰함에 어떻게 의존하는지 기술하는 것.
• CATE를 비모수 회귀와 기능 추정의 특징을 모두 지닌 하이브리드 추정량으로 공식화하는 것.
• 비모수 회귀와 기능 추정의 구성 요소를 결합한 국소화된 퍼지 가설 방법을 통해 최소최대 하한선을 제시하는 것.

제안 방법

• 비모수 회귀와 기능 추정 하한선 기법을 융합한 국소화된 퍼지 가설 방법의 변형을 사용하여 최소최대 하한선을 유도하는 것.
• 고차 영향 함수를 기반으로 한 새로운 국소 다항 R-러너 추정기법을 제안하여 CATE의 효율적 추정을 가능하게 하는 것.
• CATE 추정량의 비모수적 구조를 다루기 위해 고차 영향 함수 방법의 국소화된 수정을 구현하는 것.
• 텐서 곱과 U-통계량 항목을 추정기에서 사용하여 고차 스무쓰함과 편향 보정을 포착하는 것.
• 영향 함수 성분을 추정하기 위해 행렬 $\widehat{Q}$와 $\widehat{\Omega}$의 역행렬을 계산하여 부수적 추정 오차에 대한 강건성을 확보하는 것.
• 편향과 분산을 균형 잡기 위해 조정 파rameter $h$와 $k$를 적용하며, 최적의 값은 최소최대 속도를 달성하기 위해 유도된다.

실험 결과

연구 질문

• RQ1 헬더-스무쓰한 비모수 모델에서 조건부 평균 치료 효과(CATE) 추정의 최소최대 수렴 속도는 무엇인가?
• RQ2 최소최대 속도는 회귀 및 성향 점수 함수의 스무쓰함에 어떻게 의존하는가?
• RQ3 CATE 추정 속도는 비모수 회귀와 기능 추정 속도 사이를 인터폴레이션하는가? 만약 그렇다면 어떤 조건에서 그러한 인터폴레이션가 발생하는가?
• RQ4 적절한 스무쓰함과 정규성 조건 하에서 국소 다항 R-러너 추정기법이 최소최대 속도를 달성할 수 있는가?
• RQ5 고차 영향 함수는 CATE 추정의 최적 속도 추정기 구축에 어떤 역할을 하는가?

주요 결과

• 최소최대 속도는 비표준적인 무릎 현상(non-standard elbow phenomenon)을 보이며, 부수적 기능이 충분히 스무쓰할 경우 표준 비모수 회귀 속도와 일치하지만, 그렇지 않으면 더 느리다.
• 저스무쓰 영역에서는 최소최대 속도가 비모수 회귀와 기능 추정 속도의 혼합형이며, CATE를 회귀/기능 하이브리드로 정량화한다.
• 최적의 속도를 달성하는 국소 다항 R-러너 추정기법은 고차 영향 함수를 기반으로 하며, 약간의 조건 하에서 유도된 최소최대 하한선을 충족한다.
• 최소최대 속도는 결과 회귀 함수 $\mu_a(x)$와 성향 점수 $\pi(x)$의 스무쓰함에 따라 달라지며, 임계 임계값은 매개변수 $M_{\alpha,\beta,\gamma,d}$에 의해 결정된다.
• 부수적 기능의 평균 스무쓰함이 차원 $d$와 스무쓰함 매개변수 $\alpha$, $\beta$, $\gamma$에 따라 결정되는 임계 임계값 이하일 경우, 표준 비모수 회귀보다 속도가 더 느리다.
• 이론적 결과는 최적의 조정 파rameter $h$와 $k$가 알려지지 않은 스무쓰함에 의존함을 시사하며, 이는 Lepski의 원칙과 같은 방법을 통한 적응형 조정 파arameter 설정에 대한 향후 연구를 촉진한다.