[論文レビュー] Contextual Multi-Armed Bandits for Causal Marketing

Neela Sawant, Chitti Babu Namballa+2 more|arXiv (Cornell University)|Oct 2, 2018

Advanced Bandit Algorithms Research参考文献 25被引用数 10

ひとこと要約

本稿では、反事後推論を用いて因果的（増分的）処置効果を推定・最大化することで、マーケティングキャンペーンのターゲティングを最適化する文脈的マルチアームバンディットフレームワークを提案する。トムソンサンプリングとKNNベースのCATE推定を活用することで、非因果的ベースラインを上回り、上位1%の顧客において最大209単位のビジネス指標上昇を達成した。

ABSTRACT

This work explores the idea of a causal contextual multi-armed bandit approach to automated marketing, where we estimate and optimize the causal (incremental) effects. Focusing on causal effect leads to better return on investment (ROI) by targeting only the persuadable customers who wouldn't have taken the action organically. Our approach draws on strengths of causal inference, uplift modeling, and multi-armed bandits. It optimizes on causal treatment effects rather than pure outcome, and incorporates counterfactual generation within data collection. Following uplift modeling results, we optimize over the incremental business metric. Multi-armed bandit methods allow us to scale to multiple treatments and to perform off-policy policy evaluation on logged data. The Thompson sampling strategy in particular enables exploration of treatments on similar customer contexts and materialization of counterfactual outcomes. Preliminary offline experiments on a retail Fashion marketing dataset show merits of our proposal.

研究の動機と目的

• 観測された結果を最適化するのではなく因果的（増分的）効果を最適化するという、従来のマーケティングモデルの非効率性に対処すること。
• 介入なしでは行動しない「説得可能」な顧客にのみターゲティングすることでROIを向上させること。
• ログデータ上のオフポリシー評価を可能にする、複数のキャンペーンにスケーラブルに拡張可能なマルチアームバンディットを用いた、迅速でスケーラブルなキャンペーン最適化を実現すること。
• データ収集中に反事後生成を組み込むことで、真の因果的効果を推定すること。
• 実世界のファッションマーケティングデータセットを用いて、上昇効果指標を用いて本手法の性能を評価すること。

提案手法

• 条件付き平均処置効果（CATE）を 𝜏(𝐱) = 𝔼[Y(1) − Y(0)|X = 𝐱] として、ルービン因果モデルを定義する。
• 確率的探索を可能にするトムソンサンプリングを適用し、各顧客の文脈における反事後結果を実現可能にする。
• 異なるキャンペーン下での類似顧客の結果を比較することで、K-近傍法（KNN）を用いてCATEを推定する。
• 変換された結果モデリングを用いてCATEの不偏推定量を生成し、増分的効果への直接回帰を可能にする。
• 複数のキャンペーンにスケーリング可能であり、履歴ログデータ上でオフポリシー評価を実行可能なマルチアームバンディットを統合する。
• 直接的な因果的インパクトに焦点を当て、観測された結果ではなく増分的ビジネス指標を最適化する。

実験結果

リサーチクエスチョン

• RQ1 文脈的マルチアームバンディットフレームワークは、マーケティングにおける因果的（増分的）処置効果を効果的に推定・最適化できるか？
• RQ2 トムソンサンプリングによる反事後推定は、非因果的モデルと比較して、キャンペーンターゲティングをどのように改善するか？
• RQ3 上昇予測において、KNNベースのCATE推定は二モデルアプローチと比較してどの程度のパフォーマンス向上をもたらすか？
• RQ4 複数のキャンペーンに拡張する際、因果的正確性を維持するとともにオフポリシー評価を可能にする方法として、本手法はどのように機能するか？
• RQ5 観測された結果を最適化するのではなく増分的効果を最適化することで、ROIはどの程度向上するか？

主な発見

• 因果的バンディットモデルは、上位1%の顧客において209単位の上昇を達成したのに対し、非因果的モデルでは108単位であった。
• 上位10%のランキング人口において、因果的モデルは74単位の上昇を達成し、非因果的モデルの70単位を上回った。
• KNNベースのCATE推定器は、二モデルアプローチを一貫して上回り、特に上位10%の人口において、より安定的かつ高い上昇を示した。
• 上昇曲線は、因果的モデルが全分位数において優位であることを示しており、最もターゲティング可能なセグメントで最大の増分的利得をもたらした。
• 全人口において、因果的モデルは28.2単位の増分的上昇を達成したのに対し、非因果的モデルでは26.7単位であった。
• 結果は、因果的効果に注目することで、マーケティングによって真に行動が変化する顧客にのみターゲティングすることで、著しく高いROIが達成できることを示している。