[논문 리뷰] Combining observational and experimental data to find heterogeneous treatment effects

Alexander Peysakhovich, Akos Lada|arXiv (Cornell University)|2016. 11. 08.

Advanced Causal Inference Techniques참고 문헌 3인용 수 17

한 줄 요약

이 논문은 관찰 데이터와 실험 데이터를 융합하여 이질적 치료 효과를 더 효율적으로 추정하는 방법을 제안한다. 관찰 데이터를 사용해 상대적 치료 효과 순위를 예측하고, 이를 더 작은 실험 데이터셋으로 검증함으로써, 통계적 검정력은 유지하면서도 필요한 실험 표본 크기를 줄이는 접근 방식이다. 이는 실세계의 페이스북 페이지 추천 A/B 테스트에서 입증되었다.

ABSTRACT

Every design choice will have different effects on different units. However traditional A/B tests are often underpowered to identify these heterogeneous effects. This is especially true when the set of unit-level attributes is high-dimensional and our priors are weak about which particular covariates are important. However, there are often observational data sets available that are orders of magnitude larger. We propose a method to combine these two data sources to estimate heterogeneous treatment effects. First, we use observational time series data to estimate a mapping from covariates to unit-level effects. These estimates are likely biased but under some conditions the bias preserves unit-level relative rank orderings. If these conditions hold, we only need sufficient experimental data to identify a monotonic, one-dimensional transformation from observationally predicted treatment effects to real treatment effects. This reduces power demands greatly and makes the detection of heterogeneous effects much easier. As an application, we show how our method can be used to improve Facebook page recommendations.

연구 동기 및 목표

• 고차원적 공변량과 약한 사전 정보로 인해 실험 데이터가 통계적 검정력이 낮을 때 이질적 치료 효과를 식별하는 데 도전하는 데 대비하기 위해.
• 대규모 관찰 데이터를 실험적 치료 효과 추정의 예측 사전자료로 활용하기 위해.
• 관찰 추정치를 사용해 단위별 기대 치료 효과로 단위를 순위화함으로써 A/B 테스트에서 요구되는 표본 크기를 줄이기 위해.
• 합리적인 가정 하에 관찰 예측치가 진정한 치료 효과의 상대 순위를 유지하는지 검증하기 위해.
• 실세계 제품 개인화 환경(페이스북 페이지 추천)에서의 실용적 유용성을 입증하기 위해.

제안 방법

• 시간적 시계열 관찰 데이터를 사용해 단위 수준의 공변량에서 예측된 치료 효과로의 사상 함수를 추정하며, 이를 $ \mathbb{E}(\hat{\beta} \mid c) $ 로 표기한다.
• 일부 데이터 생성 과정의 가정 하에 관찰 추정치가 진정한 치료 효과의 상대 순위를 유지한다고 가정한다.
• 더 작은 실험 데이터셋을 사용해 관찰 예측치에서 실제 치료 효과로의 단조적, 일변도 변환을 식별한다.
• 이 변환을 적용해 관찰 예측치를 이질적 효과 탐지에 활용 가능한 추정치로 校정한다.
• 표준 이질적 치료 효과 추정 절차(예: 인과 숲, 회귀 모델)에 관찰 예측된 치료 효과를 특성으로 통합한다.
• 실험 결과를 치료 지표, 예측 효과 및 그 상호작용에 대해 회귀분석함으로써 방법을 검증하며, 상호작용 항이 유의미하게 높은 결과를 보였다(p < .01).

실험 결과

연구 질문

• RQ1 큰 표본 크기를 가진 관찰 데이터가 작은 실험 연구에서 이질적 치료 효과 탐지에 기여할 수 있는가?
• RQ2 관찰 추정치가 진정한 단위 수준 치료 효과의 상대 순위를 유지하는 조건은 무엇인가?
• RQ3 관찰 예측치와 실험 데이터를 융합하면 이질적 효과를 탐지하기 위한 실험 표본 크기를 줄일 수 있는가?
• RQ4 실세계 제품 환경에서 관찰 예측치와 실제 실험 치료 효과 간의 상관관계는 얼마나 높은가?
• RQ5 이질적 치료 효과 모델에 관찰 예측치를 특성으로 추가했을 때의 영향은 무엇인가?

주요 결과

• 관찰 예측 치료 효과와 실제 실험 치료 효과 사이에 통계적으로 유의미한 단조적 관계가 존재함을 분류 및 회귀 분석으로 확인( p < .01 ).
• 치료 지표와 예측 치료 효과 간의 상호작용 항이 매우 유의미하여, 높은 예측 효과를 가진 단위가 실제로 더 큰 치료 효과를 보임을 시사한다.
• 대규모 관찰 데이터셋을 활용해 실험 분석에 정보를 제공함으로써, 이질적 효과 탐지에 필요한 검정력 요구를 줄일 수 있다.
• 공변량 공간이 이미 고차원일 경우, 관찰 예측치를 특성으로 추가했을 때 모델 복잡도에 거의 영향을 주지 않는다.
• 실세계 페이스북 페이지 추천 A/B 테스트에서, 관찰 데이터가 유용한 사전자료를 제공하여 이질적 효과 추정의 정밀도를 향상시켰다.
• 관찰 추정치의 편향이 단위 수준의 순위를 유지하는 한, 이 방법은 편향에 대해 강건하다.