[논문 리뷰] A nonparametric Bayesian analysis of heterogeneous treatment effects in digital experimentation

Matt Taddy, Matt Gardner외 2명|arXiv (Cornell University)|2014. 12. 30.

Advanced Causal Inference Techniques참고 문헌 48인용 수 8

한 줄 요약

이 논문은 대규모 디지털 실험에서 이질적 치료 효과(HTE)를 추정하기 위한 확장 가능한 베이지안 비모수 프레임워크를 제안한다. 유연한 모델(예: 회귀 트리 및 숲)을 사용하여 강한 비모수적 가정 없이도 불확실성의 정도를 측정한다. 연구 결과는 베이지안 숲이 HTE에 대해 신뢰할 수 있는 불확실성 측정을 제공하며, 주요 결과로는 더 활동적인 사용자일수록 사전에 더 높은 사후 불확실성이 나타나고, 대규모 표본 설정에서 선형 조정으로 인한 분산 감소가 최소화됨을 보여준다.

ABSTRACT

Randomized controlled trials play an important role in how Internet companies predict the impact of policy decisions and product changes. In these `digital experiments', different units (people, devices, products) respond differently to the treatment. This article presents a fast and scalable Bayesian nonparametric analysis of such heterogeneous treatment effects and their measurement in relation to observable covariates. New results and algorithms are provided for quantifying the uncertainty associated with treatment effect measurement via both linear projections and nonlinear regression trees (CART and Random Forests). For linear projections, our inference strategy leads to results that are mostly in agreement with those from the frequentist literature. We find that linear regression adjustment of treatment effect averages (i.e., post-stratification) can provide some variance reduction, but that this reduction will be vanishingly small in the low-signal and large-sample setting of digital experiments. For regression trees, we provide uncertainty quantification for the machine learning algorithms that are commonly applied in tree-fitting. We argue that practitioners should look to ensembles of trees (forests) rather than individual trees in their analysis. The ideas are applied on and illustrated through an example experiment involving 21 million unique users of EBay.com.

연구 동기 및 목표

• 대규모 디지털 실험에서 이질적 치료 효과를 추정하기 위한 빠르고 확장 가능한 베이지안 비모수적 접근법을 개발하는 것.
• 모수적 가정에 의존하지 않고, CART 및 랜덤 포레스트와 같은 기계학습 도구에서 유도된 치료 효과 추정치의 불확실성을 측정하는 것.
• 통계적 도구의 선택을 데이터 생성 과정에서 분리함으로써 A/B 테스팅 실무자에게 실용적인 지침을 제공하는 것.
• 2,100만 명이 넘는 사용자가 포함된 실제 EBay 실험에 대해 이 방법을 적용하여 사후 분포가 HTE 예측의 불확실성을 어떻게 반영하는지 보여주는 것.
• 저신호, 고표본 크기의 디지털 실험 설정에서 선형 조정과 비모수적 트리 기반 모델의 성능을 비교하는 것.

제안 방법

• 이 방법은 데이터 생성 과정(DGP)을 관찰된 표본에 대해 딜레트-다중항 모형을 사용하여 민감도가 높은 방식으로 모델링하는 분포 자유 베이지안 비모수 접근법을 사용한다.
• 사후 추론은 MCMC에 비해 계산 비용이 높지 않은 부트스트랩 알고리즘을 통해 DGP에서 표본을 추출함으로써 수행되며, 효율적인 불확실성 측정이 가능하다.
• 회귀 트리 및 숲의 경우, 트리의 구조와 분할에 대한 사후 분포를 사용하여 각 공변량 값에서의 치료 효과 예측 분포를 생성한다.
• 이 방법은 관심 있는 통계량(예: 조건부 평균 치료 효과)을 DGP 모형에서 분리하여, 실무자들이 기존의 분석 파이프라인을 유지할 수 있도록 한다.
• 주요 출력물로는 반복적인 사후 DGP에서의 표본 추출을 통해 계산된 개인 및 집단 수준의 치료 효과에 대한 사후 평균과 신뢰구간이 포함된다.
• 이 방법은 OLS에 공변량을 적용한 선형 투영과 같은 선형 모델뿐 아니라, CART 및 랜덤 포레스트와 같은 비선형 모델에도 적용되며, 앙상블 기반 사후 표본 추출을 통해 불확실성이 측정된다.

실험 결과

연구 질문

• RQ1 작은 효과 크기를 가진 대규모 디지털 실험에서 이질적 치료 효과의 불확실성을 어떻게 신뢰성 있게 측정할 수 있는가?
• RQ2 저신호, 고표본 크기 조건 하에서 선형 회귀 조정이 치료 효과 추정의 분산을 얼마나 줄이는가?
• RQ3 베이지안 비모수적 방법은 A/B 테스팅에서 회귀 트리 및 숲과 같은 기계학습 도구에 대해 유효한 불확실성 측정을 제공할 수 있는가?
• RQ4 과거 지출 또는 구매 빈도와 같은 공변량으로 정의된 사용자 하위군에서 치료 효과의 사후 불확실성은 어떻게 변화하는가?
• RQ5 디지털 실험에서 HTE 추정에 있어 앙상블 숲과 단일 트리의 사용에 실질적인 영향은 무엇인가?

주요 결과

• 2,100만 명이 넘는 사용자가 포함된 EBay 실험에서 선형 회귀 조정은 분산 감소에 거의 기여하지 않아, 대규모 표본, 저신호 설정에서 이러한 조정이 제한적인 이점을 제공한다는 점을 확인했다.
• 이전 지출과 구매 빈도로 측정된 더 활동적인 사용자일수록 치료 효과의 사후 불확실성이 크게 증가하여, 이 그룹에서 HTE 추정의 변동성이 더 크다는 것을 나타냈다.
• 베이지안 숲은 새로운 사용자의 공변량에 기반해 치료 효과 예측에 대한 전체 사후 분포를 제공하여, 불확실성 측정이 가능했다.
• 사후 평균과 신뢰구간을 통해 계산된 조건부 평균 치료 효과는 특히 고지출 사용자 집단에서 강한 왜곡을 보였다.
• 5주 동안의 전체 평균 치료 효과의 사후 평균은 약 0.0015였고, 표준편차는 0.0003이었으며, 이는 매우 작은 효과 크기임에도 불구하고 높은 정밀도를 나타냈다.
• 이 방법은 MCMC의 계산 부담을 피하기 위해 부트스트랩 기반 사후 표본 추출 전략을 사용하여, 거대한 데이터셋에 대한 확장성을 성공적으로 달성했다.