[论文解读] Convergence Analysis of No-Regret Bidding Algorithms in Repeated Auctions

Zhe Feng, Guru Guruganesh+3 more|arXiv (Cornell University)|Sep 14, 2020

Advanced Bandit Algorithms Research参考文献 16被引用 4

一句话总结

本文分析了重复拍卖中无遗憾出价算法的收敛性，表明基于均值的学习规则（如Exp3、UCB和ε-贪婪）会使出价者在二价拍卖和VCG拍卖中收敛至诚实的纳什均衡，在一价拍卖中收敛至贝叶斯纳什均衡。关键结果是在较弱的分布假设下，以高概率收敛至均衡，该结论通过上下文Bandit和深度Q-Learning智能体的实验得到验证。

ABSTRACT

The connection between games and no-regret algorithms has been widely studied in the literature. A fundamental result is that when all players play no-regret strategies, this produces a sequence of actions whose time-average is a coarse-correlated equilibrium of the game. However, much less is known about equilibrium selection in the case that multiple equilibria exist. In this work, we study the convergence of no-regret bidding algorithms in auctions. Besides being of theoretical interest, bidding dynamics in auctions is an important question from a practical viewpoint as well. We study repeated game between bidders in which a single item is sold at each time step and the bidder's value is drawn from an unknown distribution. We show that if the bidders use any mean-based learning rule then the bidders converge with high probability to the truthful pure Nash Equilibrium in a second price auction, in VCG auction in the multi-slot setting and to the Bayesian Nash equilibrium in a first price auction. We note mean-based algorithms cover a wide variety of known no-regret algorithms such as Exp3, UCB, $ε$-Greedy etc. Also, we analyze the convergence of the individual iterates produced by such learning algorithms, as opposed to the time-average of the sequence. Our experiments corroborate our theoretical findings and also find a similar convergence when we use other strategies such as Deep Q-Learning.

研究动机与目标

• 理解当出价者在具有多个均衡的重复拍卖中使用无遗憾学习时，哪种均衡会浮现。
• 建立理论条件，以确保在二价、VCG和一价拍卖中，基于均值的学习规则收敛至特定均衡。
• 分析学习动态的时间平均值与个体迭代值，超越粗相关均衡的范畴。
• 通过ε-贪婪和深度Q-Learning智能体在第一价和第二价拍卖设置中的实验，验证理论发现。

提出的方法

• 将基于均值的学习规则（如Exp3、UCB和ε-贪婪）作为重复拍卖中出价者的出价核心策略。
• 对对手出价分布施加厚度假设（假设4.2），以确保收敛所需的足够密度。
• 在厚度条件下，证明个体出价（而不仅是时间平均值）以高概率收敛至均衡策略。
• 通过后悔和偏离界限的理论分析，表明在二价和VCG拍卖中，诚实出价占主导地位。
• 通过建模独立同分布的估值抽取下的贝叶斯纳什均衡，将分析扩展至一价拍卖，并证明收敛至均衡出价。
• 通过使用上下文ε-贪婪和深度Q-Learning智能体在第一价和第二价拍卖中进行模拟，验证结果，估值分布为均匀分布。

实验结果

研究问题

• RQ1 在具有多个均衡的重复拍卖中，无遗憾学习算法在何种条件下收敛至特定均衡？
• RQ2 在基于均值的学习下，个体出价序列（而不仅是时间平均值）是否收敛至均衡？
• RQ3 ε-贪婪和深度Q-Learning等基于均值的学习规则是否可使出价者在第二价和VCG拍卖中收敛至诚实均衡？
• RQ4 在相同的学习动态下，一价拍卖与第二价拍卖的收敛行为有何不同？
• RQ5 对手出价分布的厚度假设是否能确保在重复拍卖设置中收敛至均衡？

主要发现

• 在厚度假设成立且T₀足够大的前提下，以高概率，每个γt-基于均值的学习者在重复多席位VCG拍卖中收敛至诚实出价。
• 在第二价和VCG拍卖中，对任意固定估值，诚实出价被选中的概率至少为1 - Hγt - 4exp(−τ²ρ²T₀/(32n²H²))。
• 在一价拍卖中，若估值独立同分布且为均匀分布，则ε-贪婪和深度Q-Learning智能体收敛至贝叶斯纳什均衡，两出价者情况下每个出价者出价为其真实估值的一半。
• 实验表明，ε-贪婪和深度Q-Learning智能体在第一价和第二价拍卖中均收敛至BNE，其平均收益趋近于理论均衡效用。
• 实验显示，收敛性对出价者数量的增加具有鲁棒性，即使在超过两个出价者的情况下，仍可观察到收敛至BNE。
• 即使探索概率ε被限制在0.05，智能体的出价行为仍紧密收敛至BNE，平均收益仅存在微小差距。