[论文解读] Learning to Bid Optimally and Efficiently in Adversarial First-price Auctions

Yanjun Han, Zhengyuan Zhou+3 more|arXiv (Cornell University)|Jul 9, 2020

Advanced Bandit Algorithms Research参考文献 64被引用 11

一句话总结

本文提出了首个针对对抗性第一价格拍卖的极小化极大最优在线出价算法，在Lipschitz出价策略的Oracle下实现了$×plantilde{O}(√{T})$的遗憾。该工作引入了一种类层次专家链框架，并设计了一种计算高效的SEW策略，通过利用出价空间中的乘积结构，在保持最优遗憾的同时实现了高效计算。

ABSTRACT

First-price auctions have very recently swept the online advertising industry, replacing second-price auctions as the predominant auction mechanism on many platforms. This shift has brought forth important challenges for a bidder: how should one bid in a first-price auction, where unlike in second-price auctions, it is no longer optimal to bid one's private value truthfully and hard to know the others' bidding behaviors? In this paper, we take an online learning angle and address the fundamental problem of learning to bid in repeated first-price auctions, where both the bidder's private valuations and other bidders' bids can be arbitrary. We develop the first minimax optimal online bidding algorithm that achieves an $\widetilde{O}(\sqrt{T})$ regret when competing with the set of all Lipschitz bidding policies, a strong oracle that contains a rich set of bidding strategies. This novel algorithm is built on the insight that the presence of a good expert can be leveraged to improve performance, as well as an original hierarchical expert-chaining structure, both of which could be of independent interest in online learning. Further, by exploiting the product structure that exists in the problem, we modify this algorithm--in its vanilla form statistically optimal but computationally infeasible--to a computationally efficient and space efficient algorithm that also retains the same $\widetilde{O}(\sqrt{T})$ minimax optimal regret guarantee. Additionally, through an impossibility result, we highlight that one is unlikely to compete this favorably with a stronger oracle (than the considered Lipschitz bidding policies). Finally, we test our algorithm on three real-world first-price auction datasets obtained from Verizon Media and demonstrate our algorithm's superior performance compared to several existing bidding algorithms.

研究动机与目标

• 解决在重复第一价格拍卖中，诚实出价不再最优且出价者缺乏对他人策略了解的挑战。
• 设计一种在线学习算法，使其在Lipschitz出价策略类（包含许多现实出价策略）的强Oracle下最小化遗憾。
• 在遗憾上实现极小化极大最优性，证明在相同假设下，任何算法都无法显著优于该算法。
• 通过利用出价空间的乘积结构，设计出最优算法的计算高效变体，确保实际可部署性。
• 在Verizon Media的真实拍卖数据上验证该算法的优越性，其表现显著优于现有出价策略。

提出的方法

• 提出一种分层专家链机制，通过动态利用表现良好的专家来改进在线学习中的遗憾界。
• 将出价问题建模为带专家建议的预测框架，其中专家代表Lipschitz类中的不同出价策略。
• 引入一种新型连续专家集合，并利用分层结构基于历史表现递归优化策略选择。
• 设计SEW（半利用加权）策略，通过基于历史表现和不确定性的权重分配，平衡探索与利用。
• 利用出价空间的乘积结构分解问题，实现在不损失遗憾最优性的同时的高效计算。
• 应用Fano不等式和信息论工具，推导出遗憾的紧致下界，证明所提算法的极小化极大最优性。

实验结果

研究问题

• RQ1 我们能否设计一种在线出价算法，在任意出价者估值和出价的对抗性第一价格拍卖中，实现极小化极大最优遗憾？
• RQ2 在在线学习中，如何有效利用表现良好的专家的存在，以提升第一价格拍卖中的出价表现？
• RQ3 在在线出价中，是否可能在保持极小化极大最优遗憾的同时，实现计算和空间效率？
• RQ4 在第一价格拍卖中，与Lipschitz出价策略类竞争时，遗憾的根本极限是什么？
• RQ5 我们能否构建一个强有力的不可能性结果，证明与更丰富的Oracle类（如非Lipschitz策略）竞争在理论上不可行？

主要发现

• 所提算法在所有Lipschitz出价策略类上的遗憾为$×planti{O}(\sqrt{T})$，这是极小化极大最优的。
• 分层专家链机制通过自适应学习高性能专家的表现，而无需先验知识，从而改善了遗憾性能。
• SEW策略在计算和空间效率方面表现优异，同时保持与统计最优但不可行基线相同的$×planti{O}(\sqrt{T})$遗憾保证。
• 一个不可能性结果表明，与更强的Oracle（如非Lipschitz策略）竞争在根本上不可行，因为遗憾下界增长快于$×planti{O}(\sqrt{T})$。
• 在Verizon Media提供的三组真实第一价格拍卖数据集上的实验表明，所提算法在累积收益方面显著优于现有出价策略。
• 理论分析表明，遗憾界在对数因子范围内是紧致的，下界中的常数$c = 1/16$，证实了极小化极大最优性。