[论文解读] A game- heoretic machine learning approach for revenue maximization in sponsored search

Di He, Wei Chen+2 more|arXiv (Cornell University)|Aug 3, 2013

Consumer Market Behavior and Pricing参考文献 18被引用 30

一句话总结

该论文提出了一种基于博弈论的机器学习方法，结合马尔可夫建模与双层优化，以学习赞助搜索中的拍卖机制，从而最大化搜索引擎的收入。通过预测广告商的出价响应并实证优化收入，该方法在预测范围增大时实现了显著高于基线方法的收入，且已证明其收敛性。

ABSTRACT

Sponsored search is an important monetization channel for search engines, in which an auction mechanism is used to select the ads shown to users and determine the prices charged from advertisers. There have been several pieces of work in the literature that investigate how to design an auction mechanism in order to optimize the revenue of the search engine. However, due to some unrealistic assumptions used, the practical values of these studies are not very clear. In this paper, we propose a novel game-theoretic machine learning approach, which naturally combines machine learning and game theory, and learns the auction mechanism using a bilevel optimization framework. In particular, we first learn a Markov model from historical data to describe how advertisers change their bids in response to an auction mechanism, and then for any given auction mechanism, we use the learnt model to predict its corresponding future bid sequences. Next we learn the auction mechanism through empirical revenue maximization on the predicted bid sequences. We show that the empirical revenue will converge when the prediction period approaches infinity, and a Genetic Programming algorithm can effectively optimize this empirical revenue. Our experiments indicate that the proposed approach is able to produce a much more effective auction mechanism than several baselines.

研究动机与目标

• 为解决现有赞助搜索拍卖机制设计在实践中存在的局限性，这些局限性源于不切实际的假设。
• 开发一种数据驱动的方法，利用历史出价数据学习广告商对拍卖机制的响应行为。
• 通过预测未来的出价序列并实证最大化这些预测下的收入，优化拍卖机制以实现最大收益。
• 确保随着预测范围的增加，实证收入能够实现理论收敛。
• 通过实证评估，证明该方法在性能上优于基线拍卖机制。

提出的方法

• 在历史出价数据上训练马尔可夫模型，以捕捉广告商针对不同拍卖机制调整出价的随机动态。
• 对于任意给定的拍卖机制，所学习的马尔可夫模型可预测随时间推移的广告商出价序列。
• 通过双层优化框架优化拍卖机制：下层负责预测出价序列，上层在这些预测基础上最大化实证收入。
• 上层优化采用遗传编程算法，以搜索高收益的拍卖机制。
• 在出价响应动态稳定的假设下，该框架可确保实证收入随着预测周期趋于无穷大而收敛。
• 该方法通过将竞标者建模为对机制变化作出反应的战略性参与者，结合机器学习对行为模式进行建模，实现了博弈论与机器学习的融合。

实验结果

研究问题

• RQ1 机器学习模型在多大程度上能有效捕捉广告商对拍卖机制变化所作出的战略性出价调整？
• RQ2 结合出价预测与收益最大化的双层优化框架，是否能优于传统拍卖机制设计方法？
• RQ3 随着预测范围的增加，所学习机制的实证收益是否会收敛？
• RQ4 与既有的基线拍卖机制相比，该方法在收益表现上表现如何？
• RQ5 遗传编程在探索复杂、非线性的拍卖机制空间方面，其有效性如何？

主要发现

• 实验评估表明，所提出的方法学习到的拍卖机制实现了显著高于基线机制的收益。
• 当预测周期趋于无穷大时，实证收益实现收敛，验证了该方法的理论稳定性。
• 马尔可夫模型有效捕捉了广告商对拍卖机制变化的动态响应，从而能够准确预测未来的出价序列。
• 遗传编程在探索复杂且非线性的拍卖机制空间方面表现高效，能够识别出高收益的配置。
• 博弈论与机器学习的结合，使得该方法能够实现一种实用且数据驱动的拍卖机制设计，避免了以往理论研究中常见的不切实际假设。
• 该方法展现出强劲的实证性能，表明其在赞助搜索广告系统中具有实际部署的潜力。