[论文解读] A Game-theoretic Machine Learning Approach for Revenue Maximization in Sponsored Search

Di He, Wei Chen+2 more|arXiv (Cornell University)|Jun 3, 2014

Consumer Market Behavior and Pricing参考文献 13被引用 20

一句话总结

本文提出了一种基于博弈论的机器学习方法，通过结合广告商出价行为的马尔可夫建模与双层优化，设计能够最大化搜索引擎收入的拍卖机制。通过预测新机制下的出价响应并优化实际收入，该方法优于基线模型，在GSP基础上实现8.9%的收入提升，且在统计上显著优于最先进方法，同时有效处理了二级出价调整效应。

ABSTRACT

Sponsored search is an important monetization channel for search engines, in which an auction mechanism is used to select the ads shown to users and determine the prices charged from advertisers. There have been several pieces of work in the literature that investigate how to design an auction mechanism in order to optimize the revenue of the search engine. However, due to some unrealistic assumptions used, the practical values of these studies are not very clear. In this paper, we propose a novel \emph{game-theoretic machine learning} approach, which naturally combines machine learning and game theory, and learns the auction mechanism using a bilevel optimization framework. In particular, we first learn a Markov model from historical data to describe how advertisers change their bids in response to an auction mechanism, and then for any given auction mechanism, we use the learnt model to predict its corresponding future bid sequences. Next we learn the auction mechanism through empirical revenue maximization on the predicted bid sequences. We show that the empirical revenue will converge when the prediction period approaches infinity, and a Genetic Programming algorithm can effectively optimize this empirical revenue. Our experiments indicate that the proposed approach is able to produce a much more effective auction mechanism than several baselines.

研究动机与目标

• 解决现有拍卖机制设计方法在赞助搜索中依赖于完全信息或理性假设的局限性。
• 通过建模动态出价行为，克服广告商因新机制而调整出价的二级效应。
• 开发一种双层优化框架，联合学习广告商行为并优化拍卖机制以实现长期收益最大化。
• 证明在预测出价序列下，实际收益能够收敛，从而实现机制的可靠优化。
• 在基线方法（包括GSP、最坏情况分析和直接学习机制）上验证该方法，显示在真实世界仿真中表现更优。

提出的方法

• 从历史出价数据中学习一个时间齐次的马尔可夫模型，以描述广告商如何根据KPI信号（展示量、点击量、CPC）调整其出价。
• 使用最大似然估计法，通过500次迭代的梯度下降法估计马尔可夫转移矩阵。
• 利用训练好的马尔可夫模型，预测在任何候选拍卖机制下的未来出价序列。
• 将实际收益定义为在有限时间窗口（N=1000）内，基于预测出价序列的期望收益。
• 应用遗传编程优化拍卖机制参数（如质量评分权重），以最大化预测的实际收益。
• 使用三种行为类型的混合模型——最佳响应型、分析型和稳定型——在仿真中模拟现实的广告商行为。

实验结果

研究问题

• RQ1 能否通过捕捉广告商出价响应动态的机器学习模型，实现超越基于历史数据静态优化的拍卖机制设计？
• RQ2 当广告商因新机制而调整出价时，二级效应如何影响直接学习拍卖机制的性能？
• RQ3 结合广告商行为博弈论建模与收益最大化的双层优化框架，是否能产生更有效的拍卖机制？
• RQ4 随着预测时域的延长，预测出价序列下的实际收益是否稳定且收敛？
• RQ5 遗传编程能否有效搜索出在现实广告商响应模型下最大化长期收益的拍卖机制？

主要发现

• 所提出的BOA方法在标准GSP拍卖机制基础上实现了8.9%的相对收入提升，且具有统计显著性（p值 = 0.05）。
• 基于最坏情况博弈论分析的WCA基线方法仅比GSP提升2.2%，且无统计显著性，表明其实际优势有限。
• 忽略二级效应的直接学习拍卖（DLA）模型，其表现比GSP低4.8%，且具有统计显著性，证明出价调整会严重损害朴素机器学习方法的性能。
• 随着预测序列长度趋近无穷，实际收益趋于收敛，验证了双层优化框架的理论基础。
• BOA方法显著优于WCA和DLA，证明在机制设计中建模出价响应动态的有效性。
• 通过100组随机系数样本的广告商行为混合模型（BRM、AM、SBM），确保了评估的鲁棒性与泛化能力。