[논문 리뷰] Principal Stratification for Advertising Experiments

Ron Berman, Elea McDonnell Feit|arXiv (Cornell University)|2019. 11. 19.

Consumer Market Behavior and Pricing참고 문헌 25인용 수 3

한 줄 요약

이 논문은 광고 실험에서 ATE 추정의 정밀도를 향상시키기 위해 고객을 항상 구매자, 반항자(노출 시에만 구매), 그리고 결코 구매하지 않는 자의 세 그룹으로 분류하는 주요 군집 모델을 제안한다. 항상 구매자 그룹은 치료 효과가 정확히 0인 대규모 집단이므로, 이 방법은 약 140,000명의 참가자가 포함된 다섯 개의 카탈로그 우표 실험에서 ATE 분산을 36–57% 감소시킨다.

ABSTRACT

Advertising experiments often suffer from noisy responses making precise estimation of the average treatment effect (ATE) and evaluating ROI difficult. We develop a principal stratification model that improves the precision of the ATE by dividing the customers into three strata - those who buy regardless of ad exposure, those who buy only if exposed to ads and those who do not buy regardless. The method decreases the variance of the ATE by separating out the typically large share of customers who buy and therefore have individual treatment effects that are exactly zero. Applying the procedure to 5 catalog mailing experiments with sample sizes around 140,000 shows a reduction of 36-57% in the variance of the estimate. When we include pre-randomization covariates that predict stratum membership, we find that estimates of customers' past response to similar advertising are a good predictor of stratum membership, even if such estimates are biased because past advertising was targeted. Customers who have not purchased recently are also more likely to be in the never purchase stratum. We provide simple summary statistics that firms can compute from their own experiment data to determine if the procedure is expected to be beneficial before applying it.

연구 동기 및 목표

• 소음이 많은 반응으로 인해 평균 치료 효과(ATE) 추정이 어려운 광고 실험의 과제를 해결하기 위해.
• 고객의 이질적인 반응 행동을 체계적으로 고려함으로써 ATE 추정의 분산을 줄이기 위해.
• 사전 랜덤화 공변량(예: 광고에 대한 과거 반응)이 군집 소속을 예측할 수 있는지 평가하기 위해.
• 실행 전에 이 방법이 유의미한 분산 감소를 가져올지 평가할 수 있는 실용적인 요약 통계를 제공하기 위해.

제안 방법

• 잠재 결과 기반으로 고객을 세 가지 주요 군집으로 분류: 항상 구매자(광고 노출 여부에 관계없이 항상 구매), 반항자(노출된 경우에만 구매), 결코 구매하지 않는 자(노출 여부에 관계없이 결코 구매하지 않음).
• 각 군집 내에서 ATE를 모델링하고 추정치를 조합함으로써, 치료 효과가 정확히 0인 단위를 포함함으로써 전체 ATE의 분산을 줄이는 더 정밀한 총 ATE를 도출한다.
• 과거 구매 행동과 같은 사전 랜덤화 공변량을 사용하여 군집 소속을 예측하며, 과거 광고가 대상으로 설정되어 왜곡되었더라도 이를 고려한다.
• 약 140,000명의 표본 크기를 가진 다섯 개의 실제 카탈로그 우표 실험에 이 분류 모델을 적용하여 분산 감소를 평가한다.
• 실험 데이터에서 유도된 단순 요약 통계를 활용하여 기업이 이 방법을 적용했을 때의 잠재적 이점을 평가하는 데 도움을 준다.

실험 결과

연구 질문

• RQ1 소음이 많은 반응을 보이는 광고 실험에서 주요 군집 분류가 ATE 추정의 분산을 줄일 수 있는가?
• RQ2 과거에 광고에 대한 반응과 같은 사전 랜덤화 공변량이 광고 실험에서 군집 소속을 예측하는 데 얼마나 효과적인가?
• RQ3 군집 소속을 예측하는 공변량을 포함함으로써 ATE 추정의 정밀도가 향상되는가?
• RQ4 실제 적용에서 주요 군집 분류 방법이 유익한 조건은 무엇인가?

주요 결과

• 주요 군집 분류 모델은 약 140,000명의 참가자가 포함된 다섯 개의 카탈로그 우표 실험에서 ATE 추정의 분산을 36–57% 감소시켰다.
• 최근에 구매하지 않은 고객은 '결코 구매하지 않는' 군집에 속할 가능성이 뚜렷이 높았다.
• 과거에 유사한 광고에 대한 반응은 조건이 왜곡되었더라도 군집 소속을 강력하게 예측하는 데 효과적이었다.
• 이 방법은 치료 효과가 정확히 0인 대규모의 항상 구매자 그룹을 효과적으로 분리함으로써 전체 ATE 추정의 분산을 줄였다.
• 기업은 자체 데이터에서 유도된 단순 요약 통계를 사용하여 이 방법을 적용했을 때 의미 있는 분산 감소를 얻을 수 있는지 판단할 수 있다.