[논문 리뷰] Bias Correction For Paid Search In Media Mix Modeling

Aiyou Chen, David Chan외 5명|arXiv (Cornell University)|2018. 07. 09.

Consumer Market Behavior and Pricing참고 문헌 20인용 수 3

한 줄 요약

이 논문은 인과 추론의 배경 기준(Back-door criterion)을 사용하여 광고 타겟팅으로 인한 선택 편향을 보정하는 통계적으로 타당한 편향 보정 방법을 제안한다. 소비자 수요 및 오픈소스 검색과 같은 혼동요인을 조정함으로써, 랜덤화 실험과 실제 데이터를 기반으로 한 사례 연구를 통해 검증된 바, 검색 광고 ROAS의 약간 편향 없는 추정치를 도출한다.

ABSTRACT

Evaluating the return on ad spend (ROAS), the causal effect of advertising on sales, is critical to advertisers for understanding the performance of their existing marketing strategy as well as how to improve and optimize it. Media Mix Modeling (MMM) has been used as a convenient analytical tool to address the problem using observational data. However it is well recognized that MMM suffers from various fundamental challenges: data collection, model specification and selection bias due to ad targeting, among others \citep{chan2017,wolfe2016}. In this paper, we study the challenge associated with measuring the impact of search ads in MMM, namely the selection bias due to ad targeting. Using causal diagrams of the search ad environment, we derive a statistically principled method for bias correction based on the extit{back-door} criterion \citep{pearl2013causality}. We use case studies to show that the method provides promising results by comparison with results from randomized experiments. We also report a more complex case study where the advertiser had spent on more than a dozen media channels but results from a randomized experiment are not available. Both our theory and empirical studies suggest that in some common, practical scenarios, one may be able to obtain an approximately unbiased estimate of search ad ROAS.

연구 동기 및 목표

• 페이드 서치 캠페인의 광고 타겟팅으로 인한 미디어 믹스 모델링(MMM)에서의 선택 편향을 해결하기 위해.
• 인과 추론을 활용하여 ROAS 추정의 편향을 통계적으로 타당한 방법으로 보정하는 방법을 개발하기 위해.
• 랜덤화 실험과 실제 사례 연구를 통해 다중 채널 광고 데이터를 기반으로 방법을 검증하기 위해.
• 펌널 효과 및 혼동요인과 같은 과제가 존재하더라도 실질적이고 일반적인 상황에서 편향 없는 ROAS 추정이 가능함을 보여주기 위해.
• 완전한 실험적 검증이 필요하지 않은 실세계 MMM 시스템에 적용 가능한 프레임워크를 제공하기 위해.

제안 방법

• 소비자 수요 및 오픈소스 검색과 같은 혼동요인을 식별하기 위해 인과 다이어그램을 사용하여 검색 광고 환경을 모델링한다.
• 도-계산법(Do-calculus)의 배경 기준을 적용하여, 후방 경로를 차단하고 편향 없는 인과 추정을 가능하게 하는 관측된 혼동요인의 집합을 식별한다.
• 검색 쿼리 빈도 및 오픈소스 클릭과 같은 혼동 변수를 조정하여, 페이드 서치 지출이 매출에 미치는 진정한 인과 효과를 분리하는 편향 보정 방법(SBC)을 유도한다.
• 결과 변수로 매출, 예측 변수로 페이드 서치 지출을 사용하는 회귀 모델을 통해 방법을 구현하며, 식별된 혼동요인을 조정한다.
• 골드 스탠다드로 사용된 랜덤화 실험 결과와 비교하여 보정된 추정치를 검증한다.
• 오픈소스 클릭이 페이드 클릭에 영향을 받을 경우 피드백 루프 편향을 피하기 위해, 이를 혼동요인에서 제외함으로써 복잡한 상황을 다룬다.

실험 결과

연구 질문

• RQ1 통계적으로 타당한 인과 추론 접근법을 사용하여 페이드 서치 MMM에서의 선택 편향을 보정할 수 있는가?
• RQ2 제안된 배경 기준 기반 방법이 실세계 환경에서 약간 편향 없는 ROAS 추정치를 도출하는가?
• RQ3 통제된 사례 연구에서 보정된 추정치는 랜덤화 실험 결과와 어떻게 비교되는가?
• RQ4 오픈소스 검색 및 수요 변동과 같은 혼동요인이 존재하는 실질적 상황에서, 이 방법은 어떤 조건에서 여전히 유효한가?
• RQ5 랜덤화 실험을 사용할 수 없는 다중 채널 광고 환경에서 이 방법은 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 편향 보정 방법(SBC)은 광고 타겟팅으로 인한 선택 편향으로 인한 ROAS 과대 추정을 크게 감소시킨다.
• 골드 스탠다드로 사용된 랜덤화 실험을 기반으로 한 사례 연구에서, SBC 추정치는 단순 회귀 모델보다 실험 ROAS에 항상 더 가까운 경향을 보였다.
• 완전한 실험적 검증이 없더라도 일반적인 실질적 상황에서 SBC는 약간 편향 없는 ROAS 추정을 달성했다.
• 오픈소스 클릭을 혼동요인으로 통제할 경우 인과관계 방향을 잘못 식별하면 편향이 발생할 수 있으며, 본 연구는 페이드 클릭에 영향을 받는 경우 이를 제외할 것을 권장한다.
• 적절히 식별되고 조정된 경우, 외부 이벤트(예: 데이터 유출, 경쟁사 가격 인상 등)와 같은 다양한 혼동 조건 하에서도 방법은 강건하다.
• 본 연구의 접근법은 실세계 MMM 응용에서 페이드 서치 효과를 측정하기 위해 랜덤화 실험의 대안으로 유의미하게 기능한다.