[論文レビュー] Bias Correction For Paid Search In Media Mix Modeling

Aiyou Chen, David Chan+5 more|arXiv (Cornell University)|Jul 9, 2018

Consumer Market Behavior and Pricing参考文献 20被引用数 3

ひとこと要約

本稿では、因果推論の背後根拠（back-door criterion）を用いて、広告ターゲティングによる選択バイアスを是正する統計的に妥当なバイアス補正手法を、メディアミックスモデリング（MMM）におけるペイドサーチに提案する。消費者需要やオーガニックサーチなどの交絡要因を調整することで、ペイドサーチ広告のROAS推定値をほぼ不偏に保つことができ、ランダム化実験および実世界データを用いた事例研究によって検証されている。

ABSTRACT

Evaluating the return on ad spend (ROAS), the causal effect of advertising on sales, is critical to advertisers for understanding the performance of their existing marketing strategy as well as how to improve and optimize it. Media Mix Modeling (MMM) has been used as a convenient analytical tool to address the problem using observational data. However it is well recognized that MMM suffers from various fundamental challenges: data collection, model specification and selection bias due to ad targeting, among others \citep{chan2017,wolfe2016}. In this paper, we study the challenge associated with measuring the impact of search ads in MMM, namely the selection bias due to ad targeting. Using causal diagrams of the search ad environment, we derive a statistically principled method for bias correction based on the extit{back-door} criterion \citep{pearl2013causality}. We use case studies to show that the method provides promising results by comparison with results from randomized experiments. We also report a more complex case study where the advertiser had spent on more than a dozen media channels but results from a randomized experiment are not available. Both our theory and empirical studies suggest that in some common, practical scenarios, one may be able to obtain an approximately unbiased estimate of search ad ROAS.

研究の動機と目的

• ペイドサーチキャンペーンにおける広告ターゲティングが原因となるメディアミックスモデリング（MMM）における選択バイアスを是正すること。
• 因果推論を用いてROAS推定におけるバイアスを統計的に妥当な方法で是正する手法を開発すること。
• ランダム化実験と実世界の事例研究（マルチチャネル広告データを用いて）を用いて、その手法を検証すること。
• ファンネル効果や交絡要因といった課題が存在するにもかかわらず、実用的で一般的な状況下でも不偏なROAS推定が可能であることを示すこと。
• 完全な実験的検証が不要な実世界のMMMシステムに適用可能なフレームワークを提供すること。

提案手法

• 因果図を用いてサーチ広告環境をモデル化し、消費者需要やオーガニックサーチなどの交絡要因を特定する。
• ド計算（do-calculus）の背後根拠を適用し、背後路を遮断する観測された交絡要因の集合を同定する。これにより、不偏な因果推定が可能になる。
• 検出された交絡要因（検索クエリーボリュームやオーガニッククリック数など）を調整するバイアス補正手法（SBC）を導出する。これにより、ペイドサーチ広告費が売上に与える真の因果効果を分離できる。
• 回帰モデルを用いて手法を実装し、結果変数を売上とし、ペイドサーチ広告費に加え、同定された交絡要因を調整した予測子を含める。
• ゴールドスタンダードとしてのランダム化実験結果と比較することで、補正済み推定値の妥当性を検証する。
• オーガニッククリックがペイドクリックに影響を受ける場合には、フィードバックループバイアスを回避するため、オーガニッククリックを交絡要因として除外する。

実験結果

リサーチクエスチョン

• RQ1 ペイドサーチMMMにおける選択バイアスは、原則的な因果推論的手法を用いて是正可能か？
• RQ2 提案された背後根拠に基づく手法は、実世界の状況においてほぼ不偏なROAS推定値をもたらすか？
• RQ3 制御された事例研究において、バイアス補正済み推定値はランダム化実験の結果とどのように比較されるか？
• RQ4 オーガニックサーチや需要の変動といった交絡要因が存在するが、実用的状況下でもこの手法は有効であるか？
• RQ5 ランダム化実験が利用できないマルチチャネル広告環境においても、この手法は効果的に適用可能か？

主な発見

• 提案されたバイアス補正手法（SBC）は、広告ターゲティングに起因する選択バイアスが原因で生じるROASの過剰推定を顕著に低減する。
• ゴールデンスタンダードとしてのランダム化実験を用いた事例研究において、SBC推定値はナイーブな回帰モデルよりも実験ROASに一貫して近い結果を示した。
• 完全な実験的検証が得られない日常的で一般的な状況下でも、SBCはほぼ不偏なROAS推定を達成した。
• オーガニッククリックを交絡要因として制御すると、因果関係の方向性を誤認した場合にバイアスが生じる可能性がある。本研究では、オーガニッククリックがペイドクリックに影響を受ける場合には、それを除外することを推奨する。
• 適切に同定され、調整された場合、外部要因（データ漏洩や競合他社の価格変更など）を伴うさまざまな交絡状況下でも、この手法は頑健である。
• 本手法は、実世界のMMM応用において、ランダム化実験の代替として実用的な選択肢を提供する。