[論文レビュー] Online Inference for Advertising Auctions

Caio Waisman, Harikesh S. Nair+2 more|arXiv (Cornell University)|Aug 22, 2019

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本論文では、マルチアームバンディットとして問題を定式化することにより、リアルタイム入札オークションにおける入札ポリシーの最適化と広告露出効果の推定を同時に実行する修正トムプソンサンプリングアルゴリズムを提案する。従来の手法と比較して経済的損失が低く抑えられ、オークションの経済的構造を活用することで、学習と因果推論を整合させる。

ABSTRACT

Advertisers that engage in real-time bidding (RTB) to display their ads commonly have two goals: learning their optimal bidding policy and estimating the expected effect of exposing users to their ads. Typical strategies to accomplish one of these goals tend to ignore the other, creating an apparent tension between the two. This paper exploits the economic structure of the bid optimization problem faced by advertisers to show that these two objectives can actually be perfectly aligned. By framing the advertiser's problem as a multi-armed bandit (MAB) problem, we propose a modified Thompson Sampling (TS) algorithm that concurrently learns the optimal bidding policy and estimates the expected effect of displaying the ad while minimizing economic losses from potential sub-optimal bidding. Simulations show that not only the proposed method successfully accomplishes the advertiser's goals, but also does so at a much lower cost than more conventional experimentation policies aimed at performing causal inference.

研究の動機と目的

• リアルタイム入札（RTB）オークションにおいて、最適な入札ポリシーの学習と広告露出効果の推定の間にある対立を解消すること。
• 両方の目的を性能を犠牲にすることなく同時に達成する統合フレームワークを開発すること。
• 学習プロセス中の不適切な入札による経済的損失を最小限に抑えること。
• RTBの経済的構造を活用し、学習のための探索と因果推論のための推定を一致させること。
• 高い経済的コストを伴う因果推論を優先する従来の実験的ポリシーを上回ること。

提案手法

• 広告主の入札最適化問題をマルチアームバンディット（MAB）問題として定式化する。
• RTBの文脈において、探索と活用のバランスを取るために修正されたトムプソンサンプリングアルゴリズムを提案する。
• アルゴリズムは最適な入札ポリシーの学習と、広告露出の期待効果の推定を同時に実行する。
• オークションの経済的構造を活用することで、探索が過度な損失を引き起こさないよう保証する。
• 観測されたオークション結果に基づいた後方分布に基づいて入札額を確率的サンプリングする。
• レギュレートと経済的損失を最小限に抑えつつ、効果推定の統計的正確性を維持する。

実験結果

リサーチクエスチョン

• RQ1 RTBにおいて、最適な入札ポリシーの学習と広告露出の因果効果の推定を同時に達成できるか？
• RQ2 学習のための探索をどのように設計すれば、経済的損失を最小限に抑えつつ正確な因果推論を可能にすることができるか？
• RQ3 従来の実験的ポリシーと比較して、提案手法がどの程度経済的コストを低減するか？
• RQ4 オークションの経済的構造を活用して学習と推定を一致させることで、広告主全体のパフォーマンスが向上するか？
• RQ5 修正されたトムプソンサンプリングアルゴリズムは、予算制約下でリアルタイム入札環境において探索と活用のバランスを効果的にとれるか？

主な発見

• 提案手法は、最適な入札ポリシーの学習と広告露出効果の推定を並列で成功裏に実行した。
• 従来の実験的ポリシーと比較して、両方の目的を著しく低い経済的コストで達成した。
• シミュレーションにより、レギュレートを最小限に抑えつつ、効果推定の高精度を維持していることが示された。
• RTBオークションメカニズムの内在的な経済的構造のおかげで、学習と推定の一致が実現された。
• 予算制約下でも、標準的手法に比べて、修正トムプソンサンプリングアルゴリズムが探索と活用のバランスをより効果的にとった。
• 学習と因果推論のトレードオフが軽減され、実世界への展開においてより効率的になった。