[論文レビュー] A Game-theoretic Machine Learning Approach for Revenue Maximization in Sponsored Search

Di He, Wei Chen+2 more|arXiv (Cornell University)|Jun 3, 2014

Consumer Market Behavior and Pricing参考文献 13被引用数 20

ひとこと要約

本稿では、広告主の入札行動のマルコフモデルと二重最適化を組み合わせることで、検索エンジンの収益を最大化するオークションメカニズム設計のゲーム理論的機械学習手法を提案する。新しいメカニズムに対する入札反応を予測し、実証的収益を最適化することで、ベースラインを上回り、GSPに比べ8.9%高い収益を達成し、最先端手法よりも統計的に有意な向上を示した。また、2次入札調整効果に対しても効果的に対処した。

ABSTRACT

Sponsored search is an important monetization channel for search engines, in which an auction mechanism is used to select the ads shown to users and determine the prices charged from advertisers. There have been several pieces of work in the literature that investigate how to design an auction mechanism in order to optimize the revenue of the search engine. However, due to some unrealistic assumptions used, the practical values of these studies are not very clear. In this paper, we propose a novel \emph{game-theoretic machine learning} approach, which naturally combines machine learning and game theory, and learns the auction mechanism using a bilevel optimization framework. In particular, we first learn a Markov model from historical data to describe how advertisers change their bids in response to an auction mechanism, and then for any given auction mechanism, we use the learnt model to predict its corresponding future bid sequences. Next we learn the auction mechanism through empirical revenue maximization on the predicted bid sequences. We show that the empirical revenue will converge when the prediction period approaches infinity, and a Genetic Programming algorithm can effectively optimize this empirical revenue. Our experiments indicate that the proposed approach is able to produce a much more effective auction mechanism than several baselines.

研究の動機と目的

• スポンサード検索における既存のオークションメカニズム設計手法が、完全情報や合理的行動を仮定する非現実的な仮定に依存するという限界を是正する。
• 広告主が新しいメカニズムに応じて入札を調整する2次効果を、動的入札行動をモデル化することで克服する。
• 広告主行動の学習と長期収益の最適化を統合する二重最適化フレームワークを構築する。
• 予測された入札系列における実証的収益が収束することを実証し、メカニズムの信頼できる最適化を可能にする。
• GSP、最悪ケース解析、直接学習されたメカニズムを含むベースラインと比較し、実世界のシミュレーションで優れた性能を示す。

提案手法

• 歴史的入札データから時定常マルコフモデルを学習し、KPIシグナル（インプレッション、クリック、CPC）に基づく広告主の入札調整を記述する。
• 勾配降下法を用いて500イテレーションの最尤推定によりマルコフ遷移行列を推定する。
• 訓練済みマルコフモデルを用いて、任意の候補メカニズム下での将来の入札系列を予測する。
• 有限時間窓（N=1000）内での予測入札系列の期待収益として実証的収益を定義する。
• 遺伝的プログラミングを用いて、収益予測値を最大化するオークションメカニズムパラメータ（例：品質スコアの重み）を最適化する。
• 実際の広告主行動を模倣するため、3つの行動タイプ（最適反応型、分析型、安定型）の混合モデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 動的広告主入札反応を捉える機械学習モデルは、歴史的データに対する静的最適化を超えてオークションメカニズム設計を改善できるか？
• RQ2 広告主が新しいメカニズムに応じて入札を変更する2次効果が、直接学習されたオークションメカニズムの性能に与える影響は何か？
• RQ3 ゲーム理論的広告主行動モデルと収益最大化を統合する二重最適化フレームワークは、より効果的なオークションメカニズムを生み出せるか？
• RQ4 予測期間が延長されるに従い、予測入札系列における実証的収益は安定的かつ収束するか？
• RQ5 遺伝的プログラミングは、現実的な広告主反応モデル下で長期収益を最大化するオークションメカニズムを効果的に探索できるか？

主な発見

• 提案手法BOAは、標準的なGSPオークションメカニズムに比べ、相対収益で8.9%の向上を達成し、統計的に有意（p値 = 0.05）であった。
• WCAベースライン（最悪ケースゲーム理論的分析に基づく）は、GSPに比べ2.2%の改善にとどまり、有意ではなかった。これは実用的利点が限定的であることを示している。
• 2次効果を無視する直接学習オークション（DLA）モデルは、GSPを4.8%下回り、統計的に有意であった。これは、入札調整がナーブな機械学習手法の性能を著しく劣化させることを証明している。
• 予測系列長が無限に近づくに従い、実証的収益が収束することが確認され、二重最適化フレームワークの理論的基盤が裏付けられた。
• BOA手法はWCAおよびDLAを著しく上回り、メカニズム設計における入札応答ダイナミクスのモデル化の有効性を示した。
• 100個のランダム係数サンプルを用いた広告主行動の混合モデル（BRM, AM, SBM）により、評価のロバスト性と一般化性が確保された。