[논문 리뷰] Combining Observational and Experimental Data to Improve Efficiency Using Imperfect Instruments

George Gui|arXiv (Cornell University)|2020. 10. 10.

Advanced Causal Inference Techniques참고 문헌 10인용 수 5

한 줄 요약

이 논문은 실험적 데이터와 관찰적 데이터를 결합하는 방법을 제안한다. 이 방법은 처리 할당과 관련이 있지만 배제 제약 조건을 위반할 수 있는 완벽하지 않은 도구 변수(예: 처리 전 공변량)를 사용한다. 실험적 추정치와 편향 보정된 관찰적 추정치를 GMM 또는 가중치 방법을 통해 조합함으로써, 이론적 편향를 보정하고 분산을 최대 50%까지 줄여, 실험적 표본 크기를 반으로 줄여도 동일한 정밀도를 달성할 수 있다.

ABSTRACT

Randomized controlled trials generate experimental variation that can credibly identify causal effects, but often suffer from limited scale, while observational datasets are large, but often violate desired identification assumptions. To improve estimation efficiency, I propose a method that leverages imperfect instruments - pretreatment covariates that satisfy the relevance condition but may violate the exclusion restriction. I show that these imperfect instruments can be used to derive moment restrictions that, in combination with the experimental data, improve estimation efficiency. I outline estimators for implementing this strategy, and show that my methods can reduce variance by up to 50%; therefore, only half of the experimental sample is required to attain the same statistical precision. I apply my method to a search listing dataset from Expedia that studies the causal effect of search rankings on clicks, and show that the method can substantially improve the precision.

연구 동기 및 목표

• 작은 표본 크기로 인해 정밀도가 떨어지는 디지털 마케팅 분야에서의 제한된 실험 규모 문제를 해결한다.
• 처리 및 결과에 모두 관련이 있는 처리 전 공변량으로 인해 발생하는 내생성 문제로 인한 관찰적 데이터의 편향을 해소한다.
• 큰 관찰적 데이터셋과 완벽하지 않은 도구 변수를 활용하여 추정 효율성을 향상시키되, 중대한 편향을 유발하지 않는 방법을 개발한다.
• 편향 보정된 관찰적 추정치가 실험적 추정치와 상관이 없음을 입증함으로써, GMM 또는 가중치 방법을 통해 효율적으로 조합할 수 있음을 보여준다.
• 알고리즘 시스템(예: 검색 순위, 가격 설정)을 사용하는 기업이 실제 세계 데이터와 소규모 실험을 조합하여 더 정밀한 인과 추론을 수행할 수 있는 실용적 프레임워크를 제공한다.

제안 방법

• 실험적 및 관찰적 데이터셋 전반에 걸쳐 처리에 관련이 있지만 배제 제약 조건을 위반할 수 있는 완벽하지 않은 도구 변수로서 처리 전 공변량(Z)을 사용한다.
• 실험적 데이터를 기준으로 하여 관찰적 표본의 내생성 문제를 보정하기 위해 편향 보정된 관찰적 모델을 추정한다.
• 보정된 관찰적 추정치를 바탕으로 모멘트 제약 조건을 유도하고, 이를 실험적 데이터와 함께 일반화된 방법의 모멘트(GMM)를 사용하여 조합한다.
• 실험적 추정치와 편향 보정된 관찰적 추정치를 GMM 또는 가중치 방법을 통해 조합함으로써, 이들이 상관이 없음을 활용하여 분산을 줄인다.
• 큰 관찰적 표본과 처리 할당에 대한 강력한 예측 능력을 갖춘 처리 전 공변량이 존재할 경우, 분산 감소가 최대 50%에 이를 수 있음을 엄밀히 증명한다.
• 두 데이터셋을 사용하여 방법을 구현한다: 하나는 랜덤화된 처리를 포함하는 실험적 데이터이고, 다른 하나는 알고리즘에 의해 할당된 처리를 포함하는 관찰적 데이터이며, 모두 결과, 처리 및 공변량을 포함한다.

실험 결과

연구 질문

• RQ1 처리에 관련이 있지만 배제 제약 조건을 위반할 수 있는 완벽하지 않은 도구 변수를 실험적 데이터와 조합하여 추정 효율성을 향상시킬 수 있는가?
• RQ2 실험적 데이터를 활용하여 잘못된 도구 변수로 인한 관찰적 추정치의 편향을 어떻게 보정할 수 있는가?
• RQ3 실험적 데이터만을 사용하는 것과 비교해 복합된 실험적 및 관찰적 추정치가 분산을 얼마나 줄일 수 있는가?
• RQ4 어떤 조건(예: 표본 크기, 도구 변수의 강도)에서 이러한 데이터 원천을 조합함으로써 효율성 향상이 최대가 되는가?
• RQ5 검색 순위가 사용자 클릭에 미치는 영향을 추정하는 등의 실제 디지털 마케팅 응용 분야에서 제안된 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 관찰적 데이터가 크고 처리 전 공변량이 처리 할당을 강력하게 예측할 경우, 제안된 방법은 추정 분산을 최대 50%까지 줄일 수 있다.
• 시뮬레이션에서 복합 GMM 추정치는 기준 실험적 추정치 대비 45.7%의 효율성 향상을 달성하였으며, 평균 제곱 오차(MSE)는 기준 추정치의 54.3%로 감소하였다.
• 시뮬레이션 결과, 복합 GMM 방법은 이자율이 대출 수요에 미치는 부정적 영향을 탐지하는 통계적 검정력을 향상시켰으며, 95% 유의수준에서 탐지율을 13.99%에서 21.18%로 높였다.
• 편향 보정된 관찰적 추정치는 실험적 추정치와 상관이 없으며, 이는 GMM 또는 가중치 방법을 통해 효율적으로 조합할 수 있고, 편향을 유발하지 않음을 의미한다.
• Expedia의 검색 순위 데이터에 적용한 결과, 이 방법은 클릭에 대한 순위의 인과 효과를 추정하는 데 있어 정밀도를 크게 향상시켰다.
• 처리 전 공변량(예: 호텔 평점, 수요 예측)이 자연스럽게 완벽하지 않은 도구 변수로 기능하는 알고리즘 기반 환경에서는 이 방법이 특히 효과적이다.