[論文レビュー] Dynamic Knapsack Optimization Towards Efficient Multi-Channel Sequential Advertising

Xiaotian Hao, Zhaoqing Peng+13 more|arXiv (Cornell University)|Jun 29, 2020

Advanced Bandit Algorithms Research被引用数 9

ひとこと要約

本稿では、予算制約のもとで長期的累積収益を最大化するため、マルチチャネル連続広告を動的ナップサック問題として定式化する二段階最適化フレームワークMSBCBを提案する。入札戦略学習と予算配分を分離し、行動空間の縮小と理論的保証付き報酬設計を用いることで、タオバオでのオンラインA/Bテストにおいて、最先端のベースライン比で収益が10.08%向上し、ROIが10.31%改善された。

ABSTRACT

In E-commerce, advertising is essential for merchants to reach their target users. The typical objective is to maximize the advertiser's cumulative revenue over a period of time under a budget constraint. In real applications, an advertisement (ad) usually needs to be exposed to the same user multiple times until the user finally contributes revenue (e.g., places an order). However, existing advertising systems mainly focus on the immediate revenue with single ad exposures, ignoring the contribution of each exposure to the final conversion, thus usually falls into suboptimal solutions. In this paper, we formulate the sequential advertising strategy optimization as a dynamic knapsack problem. We propose a theoretically guaranteed bilevel optimization framework, which significantly reduces the solution space of the original optimization space while ensuring the solution quality. To improve the exploration efficiency of reinforcement learning, we also devise an effective action space reduction approach. Extensive offline and online experiments show the superior performance of our approaches over state-of-the-art baselines in terms of cumulative revenue.

研究の動機と目的

• 即時の収益のみに注目する既存の広告システムの性能が最適でない問題に対処すること。
• 累積的なユーザー単位の価値と予算制約を考慮した動的ナップサック問題として、連続的でマルチチャネルな広告プロセスをモデル化すること。
• 入札と予算配分の共同最適化における解空間の非効率性を軽減するため、問題を二段階最適化フレームワークに分解すること。
• 行動空間の縮小と理論的保証付き報酬設計を用いることで、下位最適化における強化学習の効率を向上させること。
• 実世界の電子商取引プラットフォームにおけるオフライン分析と大規模オンラインA/Bテストを通じて、フレームワークの優位性を実証的に検証すること。

提案手法

• ユーザーの複数の露出にわたる長期的価値とコストを推定し、連続広告問題を動的ナップサック問題として定式化する。
• 二段階最適化フレームワークを提案：上位段階ではユーザー間の予算配分を最適化し、下位段階では各ユーザーごとの最適入札ポリシーを学習する。
• 下位最適化における強化学習の報酬関数を理論的に保証された最適なものに導出し、長期的累積収益最大化と整合させる。
• 下位最適化におけるサンプル効率の向上とポリシー学習の高速化を図るため、行動空間の縮小技術を導入する。
• 二段階トレーニングパイプラインを採用：まず、縮小された行動空間を用いた強化学習により各ユーザーの入札ポリシーを学習し、次に推定された価値を用いてグローバルな予算配分を最適化する。
• タオバオにフレームワークを導入し、ユーザー単位の価値予測に基づくリアルタイム入札調整と動的予算配分を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチチャネル連続広告における入札と予算配分の共同最適化において、二段階最適化フレームワークは解空間を効果的に縮小できるか？
• RQ2 短期的でない、長期的なユーザーコンバージョン効果を、一時的で単一ステップの収益最大化を上回る形でモデル化・最適化できるか？
• RQ3 動的広告環境において、長期的収益最大化を理論的に保証する報酬設計戦略は何か？
• RQ4 行動空間の縮小は、ユーザーごとの入札ポリシー学習におけるサンプル効率と収束速度をどの程度向上させるか？
• RQ5 実世界の展開において、提案フレームワークは生産ベースラインと比較して累積収益およびROIにおいて統計的に有意な改善を達成できるか？

主な発見

• MSBCBは、生産制御モデルであるクロスエントロピー法（CEM）と比較して、収益で10.08%の相対的向上、ROIで10.31%の向上を達成した。
• フレームワークは、制御群と比較してコンバージョン率を6.04%向上させ、ページビューを15.37%向上させ、ユーザーの関与度の向上とより良いターゲティングを示した。
• 1億3580万人のユーザーと72,147件の広告アイテムを対象としたオンラインA/Bテストにより、MSBCBの実世界の電子商取引環境における頑健性とスケーラビリティが確認された。
• 日次ROI向上曲線は、CEMベースラインを常に上回り、長期的戦略の有効性が裏付けられた。
• 行動空間の縮小技術は、サンプル効率を顕著に向上させ、下位最適化における強化学習コンponentの収束を高速化した。
• 理論的分析により、下位最適化における導出された報酬関数が、予算制約のもとで最適な長期的収益に収束することを保証した。