[論文レビュー] An End-to-End Framework for Marketing Effectiveness Optimization under Budget Constraint

Ziang Yan, Shusen Wang+3 more|arXiv (Cornell University)|Feb 9, 2023

Consumer Market Behavior and Pricing被引用数 4

ひとこと要約

本稿では、複数選択ナップサック問題（MCKP）に基づく期待結果指標（EOM）の微分可能正則化子を統合することで、予算制約のもとでマーケティング効果を直接最適化するエンドツーエンドのディープラーニングフレームワークを提案する。有限差分法や自然進化戦略（NES）のような勾配推定技術を用いて、治療効果の予測とビジネス目標の最大化を統合的に最適化し、大規模なショートビデオプラットフォームにおけるオフラインおよびオンラインA/Bテストで顕著な向上を達成した。

ABSTRACT

Online platforms often incentivize consumers to improve user engagement and platform revenue. Since different consumers might respond differently to incentives, individual-level budget allocation is an essential task in marketing campaigns. Recent advances in this field often address the budget allocation problem using a two-stage paradigm: the first stage estimates the individual-level treatment effects using causal inference algorithms, and the second stage invokes integer programming techniques to find the optimal budget allocation solution. Since the objectives of these two stages might not be perfectly aligned, such a two-stage paradigm could hurt the overall marketing effectiveness. In this paper, we propose a novel end-to-end framework to directly optimize the business goal under budget constraints. Our core idea is to construct a regularizer to represent the marketing goal and optimize it efficiently using gradient estimation techniques. As such, the obtained models can learn to maximize the marketing goal directly and precisely. We extensively evaluate our proposed method in both offline and online experiments, and experimental results demonstrate that our method outperforms current state-of-the-art methods. Our proposed method is currently deployed to allocate marketing budgets for hundreds of millions of users on a short video platform and achieves significant business goal improvements. Our code will be publicly available.

研究の動機と目的

• 2段階のマーケティング最適化パイプラインにおける治療効果推定と予算配分の目的の不整合を解消すること。
• 統合されたエンドツーエンドフレームワーク内で、予算制約のもとでビジネス目標（例：ユーザー反応率）を直接最適化すること。
• 治療効果推定において代理目的関数に依存するのではなく、実際のマーケティング成果指標から深層ニューラルネットワークが学習できるようにすること。
• 予算配分における整数プログラミングに基づく目的関数の非微分可能性を、勾配推定により克服すること。
• 数百万人のユーザーを擁する実世界のショートビデオプラットフォームで、スケーラブルに実装・検証すること。

提案手法

• ユーザー単位の治療効果とコストを考慮した複数選択ナップサック問題（MCKP）として予算配分問題を定式化する。
• 期待結果指標（EOM）法を用いて、期待されるビジネス成果の不偏推定子 $Q$ を構築する。
• S-Learnerニューラルネットワークの学習目的関数に $Q$ を微分可能正則化子として統合し、マーケティング効果の直接最適化を実現する。
• 非微分可能な $Q$ 関数の勾配を推定するために、有限差分法および自然進化戦略（NES）を用いる。
• 予測損失とマーケティング目標正則化子のバランスを取るために、ハイパーパrameter $\lambda$ を用いる。
• 実世界のマーケティングキャンペーンにこのフレームワークを適用し、大規模なショートビデオプラットフォームでモデルの再トレーニングとデプロイを実施する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープラーニングフレームワークは、ビジネス目標を直接最適化することで、2段階アプローチを上回るマーケティング予算配分性能を達成できるか？
• RQ2 整数プログラミングに基づく目的関数の非微分性は、どのようにして勾配ベース最適化を可能にするか？
• RQ3 有限差分法とNESなどの異なる勾配推定戦略が、最適化性能と計算コストに与える影響は何か？
• RQ4 正則化子を制御するハイパーパrameter $\lambda$ が、実世界のデプロイにおけるモデルの安定性とパフォーマンスに与える影響は何か？
• RQ5 提案手法は、大規模プラットフォームにおけるオフライン指標とオンラインA/Bテストの両方で、測定可能な改善を達成できるか？

主な発見

• CRITEO-UPLIFT v2データセットでは、有限差分法を用いた本手法が、AUCC 0.7904 ± 0.0096 を達成し、以前のSOTA手法（DRP）の 0.7739 ± 0.0002 を顕著に上回った。
• 有限差分法を用いた手法はNVIDIA Tesla T4 GPUで17.6時間を要したが、NESベースのバージョンは4.3時間で完了し、4倍の高速化が達成されたが、分散が高くなった。
• KUAISHOU-PRODUCE-COINデータセットにおけるオフライン評価では、最適な $\lambda = 200$ が最高の一人当たり反応を達成したが、$\lambda \geq 500$ の場合、トレーニングの不安定化とTSM-SLより悪いパフォーマンスが生じた。
• オンラインA/Bテストでは、本手法がTSM-SLよりも1.24%高い一人当たり反応率と、0.369%低い一人当たりコストを達成し、顕著なビジネスインパクトを示した。
• 現在、モデルはショートビデオプラットフォームで数億人のユーザーに対するマーケティング予算配分にデプロイされており、スケーラビリティと実世界での有効性が確認された。
• 結果から、微分可能正則化子を用いてビジネス目標を直接最適化することで、従来の2段階パイプラインよりも実世界の目的と整合性の高い結果が得られることを示した。