[論文レビュー] Multi-Armed Bandit Mechanisms for Multi-Slot Sponsored Search Auctions

Akash Das Sarma, Sujit Gujar+1 more|arXiv (Cornell University)|Jan 9, 2010

Advanced Bandit Algorithms Research参考文献 7被引用数 3

ひとこと要約

本稿は、クリック率（CTR）が初期に未知である多スロットのスポンサード検索オークションにおける真実性のあるマルチアームバンディット（MAB）メカニズムを開発する。CTRが制約なしの場合、真実性のあるメカニズムはO(T)のレグレットを被るが、クリック順序、粗い事前推定、または分離可能なCTRといった構造的CTRの下では、弱点wise単調性と弱く分離された割り当てが真実性の必要十分条件となり、レグレットはO(T^{2/3})に有界である。

ABSTRACT

In pay-per click sponsored search auctions which are currently extensively used by search engines, the auction for a keyword involves a certain number of advertisers (say k) competing for available slots (say m) to display their ads. This auction is typically conducted for a number of rounds (say T). There are click probabilities mu_ij associated with each agent-slot pairs. The goal of the search engine is to maximize social welfare of the advertisers, that is, the sum of values of the advertisers. The search engine does not know the true values advertisers have for a click to their respective ads and also does not know the click probabilities mu_ij s. A key problem for the search engine therefore is to learn these click probabilities during the T rounds of the auction and also to ensure that the auction mechanism is truthful. Mechanisms for addressing such learning and incentives issues have recently been introduced and are aptly referred to as multi-armed-bandit (MAB) mechanisms. When m = 1, characterizations for truthful MAB mechanisms are available in the literature and it has been shown that the regret for such mechanisms will be O(T^{2/3}). In this paper, we seek to derive a characterization in the realistic but non-trivial general case when m > 1 and obtain several interesting results.

研究の動機と目的

• クリック率（CTR）が初期に未知である多スロットスポンサード検索オークションにおける真実性のあるマルチアームバンディットメカニズムを設計すること。
• 戦略的入札者と不完全なCTR情報が存在する状況下で、MABメカニズムが真実性を保つための条件を特定すること。
• 制約なし、順序付きクリック順序、事前推定、分離可能なCTRを含むさまざまなCTR仮定下での真実性のあるメカニズムのレグレットバウンドを分析すること。
• 単一スロットのMABメカニズムの先行研究を、複数の広告主とスロットを有するより現実的な多スロット設定に拡張すること。
• シミュレーションを通じて提案された真実性のあるMABメカニズムの性能を評価し、平均および最悪ケースのレグレットに注目すること。

提案手法

• 広告主が真の評価額を入札し、検索エンジンがTラウンドにわたり繰り返しオークションを通じてCTRを学習する確率的マルチラウンドオークションモデルを提案する。
• 構造的CTR仮定下でのMABメカニズムにおける真実性のためのキーポイントとして、弱点wise単調性と弱く分離された割り当ての概念を導入する。
• 推定CTR（μ′）を用いた期待効用最大化に基づく支払いルールを導出し、期待的に真実の入札を保証する。
• 初期の探索フェーズ（T^{2/3}ラウンド）においてラウンドロビン割り当て戦略を用いてCTRを推定し、その後の活用フェーズに移行する。
• 完全なCTR知識が得られた場合の最適な社会的福祉と実際の社会的福祉を比較するレグレット分析を実施する。
• k=4の広告主とm=2のスロットを想定し、100T個のランダムインスタンスを生成して平均および最悪ケースのレグレットを推定するシミュレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 CTRが未知である多スロットスポンサード検索オークションにおいて、割り当てルールにどのような条件が満たされると真実性が保証されるか？
• RQ2 制約なしCTRの下で、真実性のあるMABメカニズムのレグレットは、オークションラウンド数Tに対してどのようにスケーリングされるか？
• RQ3 クリック順序や分離可能性といった構造的性質を満たすCTRの下で、弱い単調性条件（例：弱点wise単調性）が真実性に十分であるか？
• RQ4 現実的なCTR仮定下で、多スロット設定における真実性のあるMABメカニズムが達成可能なレグレットバウンドは何か？
• RQ5 シミュレーションにおいて、真実性のあるMABメカニズムの平均および最悪ケースのレグレット行動は、理論的バウンドとどのように比較されるか？

主な発見

• 制約なしCTRの下では、任意の真実性のあるMABメカニズムは強い点wise単調性を満たす必要があり、そのようなメカニズムはO(T)のレグレットを被る。
• CTRがクリック順序性を満たす場合、弱点wise単調性はMABメカニズムにおける真実性の必要十分条件である。
• CTRの粗い事前推定がある場合、弱点wise単調性と弱く分離された割り当ては、真実性のあるMABメカニズムにとって両方必要十分である。
• 分離可能なCTR（μ_ij = α_i * β_j）の下では、期待的に真実性を保証するMABメカニズムの特徴付けを本稿は提供する。
• シミュレーション結果から、最悪ケースのレグレットはO(T^{2/3})にスケーリングされ、(17/3)T^{2/3}に非常に近い近似値を示し、平均ケースのレグレットは(1/3)T^{2/3}に有界であることが確認され、理論的バウンドを裏付けた。
• 実験的評価により、提案された真実性のあるMABメカニズムが、平均および最悪ケースの両方において理論的O(T^{2/3})バウンド内にレグレットを達成することが確認された。