[论文解读] Bias Correction For Paid Search In Media Mix Modeling

Aiyou Chen, David Chan+5 more|arXiv (Cornell University)|Jul 9, 2018

Consumer Market Behavior and Pricing参考文献 20被引用 3

一句话总结

本文提出了一种基于因果推断中后门准则的统计上合理的偏差校正方法，用于媒体组合建模（MMM）中的付费搜索，以解决广告定位带来的选择偏差。通过调整消费者需求和自然搜索等混杂因素，该方法可得到近似无偏的付费搜索广告投资回报率（ROAS）估计，经由随机实验和真实世界数据的案例研究验证。

ABSTRACT

Evaluating the return on ad spend (ROAS), the causal effect of advertising on sales, is critical to advertisers for understanding the performance of their existing marketing strategy as well as how to improve and optimize it. Media Mix Modeling (MMM) has been used as a convenient analytical tool to address the problem using observational data. However it is well recognized that MMM suffers from various fundamental challenges: data collection, model specification and selection bias due to ad targeting, among others \citep{chan2017,wolfe2016}. In this paper, we study the challenge associated with measuring the impact of search ads in MMM, namely the selection bias due to ad targeting. Using causal diagrams of the search ad environment, we derive a statistically principled method for bias correction based on the extit{back-door} criterion \citep{pearl2013causality}. We use case studies to show that the method provides promising results by comparison with results from randomized experiments. We also report a more complex case study where the advertiser had spent on more than a dozen media channels but results from a randomized experiment are not available. Both our theory and empirical studies suggest that in some common, practical scenarios, one may be able to obtain an approximately unbiased estimate of search ad ROAS.

研究动机与目标

• 解决付费搜索活动广告定位导致的媒体组合建模（MMM）中的选择偏差问题。
• 开发一种基于因果推断的统计上合理的ROAS估计偏差校正方法。
• 通过随机实验和真实世界案例研究（包含多渠道广告数据）验证该方法。
• 证明即使在漏斗效应和混杂因素等挑战下，也能在实际常见场景中实现无偏ROAS估计。
• 提供一种可应用于真实世界MMM系统的方法框架，而无需完全依赖实验验证。

提出的方法

• 使用因果图建模搜索广告环境，并识别消费者需求和自然搜索等混杂因素。
• 应用do-演算中的后门准则，识别一组可观测的混杂因素，当对其进行条件化时，可阻断后门路径，实现无偏因果估计。
• 推导出一种偏差校正方法（SBC），通过调整搜索查询量和自然点击等混杂变量，以隔离付费搜索投入对销售额的真实因果效应。
• 使用回归模型实现该方法，其中结果变量为销售额，预测变量包括付费搜索投入，并对识别出的混杂因素进行调整。
• 通过将校正后的估计值与随机实验结果（作为黄金标准）进行比较，验证该方法。
• 在复杂场景中，当自然点击受付费点击影响时，排除其作为混杂因素，以避免反馈回路偏差。

实验结果

研究问题

• RQ1 能否使用基于因果推断的系统性方法纠正付费搜索MMM中的选择偏差？
• RQ2 所提出的基于后门准则的方法在真实世界环境中是否能产生近似无偏的ROAS估计？
• RQ3 在受控案例研究中，偏差校正估计值与随机实验结果相比如何？
• RQ4 在存在自然搜索和需求波动等混杂因素的情况下，该方法在哪些实际场景中仍保持有效？
• RQ5 在无法进行随机实验的多渠道广告环境中，该方法是否能有效应用？

主要发现

• 所提出的偏差校正方法（SBC）显著减少了由广告定位导致的选择偏差所引起的ROAS高估。
• 在以随机实验为真实值的案例研究中，SBC估计值始终比朴素回归模型更接近实验ROAS。
• 即使在缺乏完整实验验证的常见实际场景中，该方法也能实现近似无偏的ROAS估计。
• 若因果方向判断错误，将自然点击作为混杂因素控制可能引入偏差；本研究建议在自然点击受付费点击影响时将其排除。
• 当正确识别并调整后，该方法在各种混杂条件下（如数据泄露或竞争对手定价变动等外部事件）仍具鲁棒性。
• 该方法为在真实世界MMM应用中衡量付费搜索效果提供了一种可行的替代随机实验的方案。