[論文レビュー] Principal Stratification for Advertising Experiments

Ron Berman, Elea McDonnell Feit|arXiv (Cornell University)|Nov 19, 2019

Consumer Market Behavior and Pricing参考文献 25被引用数 3

ひとこと要約

本稿では、広告実験におけるATE推定の精度を向上させるための主成分層別化モデルを提案する。顧客を3つのグループに層別化する：常に購入者（広告露出に関わらず購入）、逆転者（露出された場合にのみ購入）、从来購入者（広告露出に関わらず購入しない）。治療効果が正確にゼロである「常に購入者」の大きなグループを隔離することで、約14万人の参加者を有する5つのカタログメール配信実験において、ATEの分散を36–57%まで低減した。

ABSTRACT

Advertising experiments often suffer from noisy responses making precise estimation of the average treatment effect (ATE) and evaluating ROI difficult. We develop a principal stratification model that improves the precision of the ATE by dividing the customers into three strata - those who buy regardless of ad exposure, those who buy only if exposed to ads and those who do not buy regardless. The method decreases the variance of the ATE by separating out the typically large share of customers who buy and therefore have individual treatment effects that are exactly zero. Applying the procedure to 5 catalog mailing experiments with sample sizes around 140,000 shows a reduction of 36-57% in the variance of the estimate. When we include pre-randomization covariates that predict stratum membership, we find that estimates of customers' past response to similar advertising are a good predictor of stratum membership, even if such estimates are biased because past advertising was targeted. Customers who have not purchased recently are also more likely to be in the never purchase stratum. We provide simple summary statistics that firms can compute from their own experiment data to determine if the procedure is expected to be beneficial before applying it.

研究の動機と目的

• ノイズの多い反応が広告実験における平均処置効果（ATE）の推定を困難にするという課題に対処すること。
• 顧客の反応行動の非一様性を体系的に組み込むことで、ATE推定の分散を低減すること。
• ランダム化前の共変量（過去の広告への反応など）が層別化の所属を予測できるか、推定を改善できるかを評価すること。
• 実装の前段階で、企業がこの手法が有益であるかどうかを判断できる実用的な要約統計を提供すること。

提案手法

• 潜在的アウトカムに基づいて顧客を3つの主成分層に層別化する：常に購入者（広告露出に関わらず常に購入）、逆転者（露出された場合にのみ購入）、从来購入者（広告露出に関わらず購入しない）。
• 各層内でのATEをモデル化し、推定値を統合することで、ゼロ効果の単位の含みによる分散低減を実現し、より正確な全体のATEを得る。
• 過去の購入行動などのランダム化前の共変量を用いて、層別化の所属を予測する。過去のキャンペーンが標的であった場合でも、バイアスがある場合でも有効である。
• サンプルサイズが約140,000の5つの実世界のカタログメール配信実験に、この層別化モデルを適用し、分散低減を評価する。
• 実験データから導かれる簡単な要約統計を用いて、企業がこの手法を適用する潜在的な利点を評価するのを支援する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多い反応を示す広告実験において、主成分層別化はATE推定の分散を低減できるか？
• RQ2 過去の購入行動などのランダム化前の共変量は、広告実験における層別化の所属を予測するのにどの程度有効か？
• RQ3 層別化の所属を予測する共変量を含めることで、ATE推定の精度は向上するか？
• RQ4 実際の状況では、どのような条件下で主成分層別化手法が有益であると予想されるか？

主な発見

• 主成分層別化モデルは、約140,000名の参加者を有する5つのカタログメール配信実験において、ATE推定の分散を36–57%まで低減した。
• 最近購入していない顧客は、「从来購入者」層に属する可能性が顕著に高かった。
• 過去に類似広告に反応した経験でさえ、過去のキャンペーンが標的であった場合でも、層別化の所属を強く予測できた。
• この手法は、治療効果が正確にゼロである「常に購入者」の大きなグループを効果的に隔離することで、ATE推定全体の分散を低減した。
• 企業は自社のデータから得られる簡単な要約統計を用いて、この手法を適用する際に有意な分散低減が得られるかどうかを判断できる。