[论文解读] Econometrics for Learning Agents

Denis Nekipelov, Vasilis Syrgkanis+1 more|arXiv (Cornell University)|May 4, 2015

Auction Theory and Applications参考文献 13被引用 8

一句话总结

本文提出了一种新颖的计量经济学框架，用于在不假设纳什均衡的前提下推断赞助搜索拍卖中的出价者估值，转而采用无遗憾学习作为更现实的行为模型。通过基于可合理化性的推断方法并使用乘法误差界，作者从现实拍卖数据中实现了精确的估值估计，发现广告商平均仅出价其推断价值的约60%，其中30%的广告位显示出接近零的合理化误差——表明学习行为具有稳定性。

ABSTRACT

The main goal of this paper is to develop a theory of inference of player valuations from observed data in the generalized second price auction without relying on the Nash equilibrium assumption. Existing work in Economics on inferring agent values from data relies on the assumption that all participant strategies are best responses of the observed play of other players, i.e. they constitute a Nash equilibrium. In this paper, we show how to perform inference relying on a weaker assumption instead: assuming that players are using some form of no-regret learning. Learning outcomes emerged in recent years as an attractive alternative to Nash equilibrium in analyzing game outcomes, modeling players who haven't reached a stable equilibrium, but rather use algorithmic learning, aiming to learn the best way to play from previous observations. In this paper we show how to infer values of players who use algorithmic learning strategies. Such inference is an important first step before we move to testing any learning theoretic behavioral model on auction data. We apply our techniques to a dataset from Microsoft's sponsored search ad auction system.

研究动机与目标

• 开发一种无需依赖纳什均衡假设的重复拍卖中估值推断理论。
• 使用无遗憾学习作为对基于均衡策略的更现实替代模型，来建模出价者行为。
• 通过从观测到的出价数据中准确估计私人估值，实现对学习理论模型的实证检验。
• 将该方法应用于微软赞助搜索拍卖系统的真实世界数据，以验证其实际应用价值。

提出的方法

• 基于无遗憾学习构建可合理化条件，要求玩家的策略在长时间内与具有次线性遗憾的策略保持一致。
• 使用乘法误差界 δ 定义出价者估值的可行区域，使得观测到的出价在某种无遗憾学习策略下可被合理化。
• 对 δ ∈ (0,1) 进行二分查找，以找到最小的非负可合理化误差 δ*，对应最可信的估值估计 v*。
• 通过求解一组不等式系统构建估值的置信区域，以确保在无遗憾约束下与观测到的出价行为保持一致。
• 将推断程序应用于微软赞助搜索系统中九个广告商账户的真实出价数据。
• 通过实证分析出价折扣率以及合理化误差与出价折扣之间的相关性，验证结果。

实验结果

研究问题

• RQ1 在不假设纳什均衡的前提下，能否从观测到的拍卖数据中可靠地推断出出价者估值？
• RQ2 将出价者建模为使用无遗憾学习策略，在动态拍卖环境中如何提升估值推断的准确性？
• RQ3 有多少比例的出价行为与稳定学习（低合理化误差）一致，又有多少比例与持续学习（较高误差）一致？
• RQ4 在现实世界的赞助搜索拍卖中，广告商相对于其推断估值的出价折扣程度如何？
• RQ5 合理化误差水平与出价折扣程度之间是否存在系统性关系？

主要发现

• 在各账户中约30%的广告位可使用接近零的乘法误差（δ* < 0.0001）进行合理化，表明其学习行为具有稳定性。
• 其余70%广告位的最小可合理化误差 δ* 的经验分布接近 [0, 0.4] 上的均匀分布，表明大多数情况下仍处于持续学习状态。
• 广告商平均出价约为其推断估值的60%，且出价值比分布接近以60%为中心的正态分布。
• 少数广告位表现出过度出价，可能由于市场冲击或随时间变化的非平稳估值。
• 合理化误差 δ* 与出价折扣之间存在微弱但稳定的正相关关系，表明估值推断不确定性较高的广告位更倾向于进行更大程度的出价折扣。