[论文解读] Learning to bid in revenue-maximizing auctions

Thomas Nédelec, Noureddine El Karoui+1 more|arXiv (Cornell University)|Feb 27, 2019

Auction Theory and Applications参考文献 1被引用 6

一句话总结

本文提出了一种可微分的、基于梯度的方法，供战略投标人学习在数据驱动、收益最大化的拍卖中实现最优出价策略——特别是基于出价分布的个性化保留价机制。通过放松不连续的效用目标函数，并使用神经网络优化出价函数，该方法在懒惰第二价格、Myerson和增强第二价格拍卖中，相对于诚实出价实现了高达数百个百分点的效用提升。

ABSTRACT

We consider the problem of the optimization of bidding strategies in prior-dependent revenue-maximizing auctions, when the seller fixes the reserve prices based on the bid distributions. Our study is done in the setting where one bidder is strategic. Using a variational approach, we study the complexity of the original objective and we introduce a relaxation of the objective functional in order to use gradient descent methods. Our approach is simple, general and can be applied to various value distributions and revenue-maximizing mechanisms. The new strategies we derive yield massive uplifts compared to the traditional truthfully bidding strategy.

研究动机与目标

• 解决投标人在数据驱动、收益最大化的拍卖机制中缺乏战略出价算法的问题。
• 建模长期投标人在一个稳定状态拍卖环境中，当卖方根据观测到的出价分布设定保留价时的战略行为。
• 通过稳定且可微分的松弛方法，克服原始效用目标函数在出价策略优化中的不连续性问题。
• 开发一种通用且计算高效的通用方法，适用于多种拍卖机制，包括Myerson、懒惰第二价格和增强第二价格拍卖。
• 在指数分布和均匀分布的价值分布设定下，实证证明学习到的策略相比诚实出价能带来显著的效用提升。

提出的方法

• 将投标人的期望效用表述为关于出价策略的泛函优化问题，其中卖方机制依赖于诱导出的出价分布。
• 引入原始不连续目标函数的松弛形式，以确保在局部扰动下具有可微性和稳定性。
• 使用神经网络参数化出价策略，从而实现对松弛后目标函数的端到端梯度下降优化。
• 对于Myerson拍卖，通过L2拟合出价分布来近似虚拟价值函数，并优化由此产生的代理目标函数。
• 对于增强第二价格拍卖，从出价分布的虚拟价值函数中计算保留价，并对高于保留价的出价应用线性拟合以实现增强。
• 对保留价阈值采用可微分近似，利用虚拟价值函数的次微分确保优化过程中的可微性。

实验结果

研究问题

• RQ1 当卖方基于历史出价分布推导出个性化保留价时，战略投标人如何在收益最大化的拍卖中学习最优出价策略？
• RQ2 在现代数据驱动拍卖机制（如带有个性化保留价的懒惰第二价格拍卖）中，战略出价对投标人效用有何影响？
• RQ3 可微分的、基于梯度的优化框架能否有效应用于非诚实、复杂的拍卖机制（如Myerson拍卖或增强第二价格拍卖）？
• RQ4 在不同价值分布和拍卖类型下，学习到的策略相比诚实出价的性能增益如何？
• RQ5 当拍卖机制基于观测到的出价分布进行训练时，现代收益最大化机制对战略投标人的鲁棒性如何？

主要发现

• 所提方法在带有个性化保留价的懒惰第二价格拍卖和Myerson拍卖中，相比诚实出价实现了显著的效用提升，增幅可达数百个百分点。
• 在Myerson拍卖中，学习到的出价策略在理论上是最优的，证实了该方法在闭式解设定下的理论正确性。
• 在增强第二价格拍卖中，该方法成功超越理论保证，通过可微分近似增强机制实现了优异性能。
• 即使在卖方基于历史出价动态更新保留价的设定下，该方法仍显著优于诚实出价，表明其对机制设计假设具有鲁棒性。
• 该方法能有效推广至无已知闭式最优策略的拍卖机制，展示了其在现代复杂拍卖设计中的广泛适用性。
• 在指数分布和均匀分布的价值设定下，实验结果一致显示显著的性能增益，其中在对保留价阈值不敏感的竞争环境中，效用提升最为显著。