[論文レビュー] Budget Optimization for Sponsored Search: Censored Learning in MDPs

Kareem Amin, Michael Kearns+2 more|arXiv (Cornell University)|Oct 16, 2012

Advanced Bandit Algorithms Research参考文献 10被引用数 44

ひとこと要約

この論文は、予算制約によるクリックの部分的観測（censored）な状況下で、スポンサード検索オークションにおける予算最適化を、censored MDP（右側打ち切り付きマルコフ決定過程）として定式化する。クリックスルーレート（CTR）が予算制約により完全に観測されない状況を想定し、Kaplan-Meier推定量を用いた学習アルゴリズムを提案。実世界のMicrosoft adCenterデータ上での実験により、最適性能への収束が速いことを実証した。

ABSTRACT

We consider the budget optimization problem faced by an advertiser participating in repeated sponsored search auctions, seeking to maximize the number of clicks attained under that budget. We cast the budget optimization problem as a Markov Decision Process (MDP) with censored observations, and propose a learning algorithm based on the wellknown Kaplan-Meier or product-limit estimator. We validate the performance of this algorithm by comparing it to several others on a large set of search auction data from Microsoft adCenter, demonstrating fast convergence to optimal performance.

研究の動機と目的

• 繰り返し行われるスポンサード検索オークションにおいて、予算制約下での広告支出最適化の課題に取り組む。
• 制限された支出による観測の不完全さ（censored）を考慮した、予算最適化問題をマルコフ決定過程（MDP）としてモデル化する。
• censoredオークションから得られる不完全なデータを効果的に処理する学習アルゴリズムを開発する。
• 実世界の広告オークションデータを用いて、提案手法を従来手法と比較して検証する。

提案手法

• 予算制限に起因する完全な結果が得られない状況下で、観測可能なクリックのみを用いて、予算最適化問題をcensored MDPとして定式化する。
• Kaplan-Meier（積限界）推定量を用いて、censoredデータからクリックスルーレートを推定し、バイアスのない学習を可能にする。
• 各オークションラウンドにおけるcensoredフィードバックに基づいて、行動価値推定値を更新する強化学習フレームワークを採用する。
• censored MDPにおける部分観測を扱うために、Kaplan-Meier推定量をQ学習風のアルゴリズムに統合する。
• クリックスルーレートの分布に特定の仮定を置かない非パラメトリック推定手法を採用する。
• 実際のMicrosoft adCenterオークションログを用いて、手法の妥当性を検証し、ベースラインアルゴリズムと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 予算制約により部分的フィードバック（censoredデータ）しか得られない状況下で、広告主はどのように最適な入札戦略を学習できるか？
• RQ2 Kaplan-Meier推定量は、censored観測を持つMDPフレームワークにおける強化学習設定に効果的に適応可能か？
• RQ3 提案されたcensored学習アルゴリズムは、標準的な予算最適化手法に比べてより速く収束し、より優れた性能を達成するか？
• RQ4 限られたフィードバックと高いばらつきを示すオークション結果を持つ実世界の広告オークションデータにおいて、アルゴリズムは実際の運用でどの程度の性能を示すか？

主な発見

• 提案手法は、実世界のMicrosoft adCenterデータ上において、近似的に最適な性能へと速やかに収束することが確認された。
• Kaplan-Meier推定量の使用により、予算制約に起因するcensored観測があっても、クリックスルーレートの推定が正確に行えるようになった。
• 同じ予算制約下で、得られるクリック数の合計において、ベースラインアルゴリズムを上回る性能を示した。
• フィードバックが限られ、オークション結果の分散が大きい状況下でも、学習の安定性と頑健性が確認された。
• 実験的結果から、Kaplan-Meierを用いたcensored学習は、censoring補正を行わない標準的Q学習に比べ、予算の有効活用が著しく向上することが示された。
• 不完全なデータの下でも、探索と活用のバランスを効果的にとることで、長期的なクリック最大化に寄与した。