[论文解读] Oracle-Efficient Learning and Auction Design

Miroslav Dudı́k, Nika Haghtalab+4 more|arXiv (Cornell University)|Nov 5, 2016

Auction Theory and Applications被引用 3

一句话总结

本文提出了广义跟随扰动领导者（Generalized Follow-the-Perturbed-Leader）算法，通过利用离线优化预言机，在对抗性设置下实现了预言机高效的在线学习，在特定条件下实现了渐近归零的遗憾。该框架被应用于设计针对VCG机制与保留价、无嫉妒定价以及s级拍卖的预言机高效拍卖机制，将Myerson拍卖近似结果扩展至非独立同分布的估值过程。

ABSTRACT

We consider the design of computationally efficient online learning algorithms in an adversarial setting in which the learner has access to an offline optimization oracle. We present an algorithm called Generalized Follow-the-Perturbed-Leader and provide conditions under which it is oracle-efficient while achieving vanishing regret. Our results make significant progress on an open problem raised by Hazan and Koren, who showed that oracle-efficient algorithms do not exist in general and asked whether one can identify properties under which oracle-efficient online learning may be possible. Our auction-design framework considers an auctioneer learning an optimal auction for a sequence of adversarially selected valuations with the goal of achieving revenue that is almost as good as the optimal auction in hindsight, among a class of auctions. We give oracle-efficient learning results for: (1) VCG auctions with bidder-specific reserves in single-parameter settings, (2) envy-free item pricing in multi-item auctions, and (3) s-level auctions of Morgenstern and Roughgarden for single-item settings. The last result leads to an approximation of the overall optimal Myerson auction when bidders’ valuations are drawn according to a fast-mixing Markov process, extending prior work that only gave such guarantees for the i.i.d. setting. Finally, we derive various extensions, including: (1) oracle-efficient algorithms for the contextual learning setting in which the learner has access to side information (such as bidder demographics), (2) learning with approximate oracles such as those based on Maximal-in-Range algorithms, and (3) no-regret bidding in simultaneous auctions, resolving an open problem of Daskalakis and Syrgkanis.

研究动机与目标

• 解决一个开放问题：在特定结构条件下，预言机高效的在线学习是否可能实现。
• 设计计算高效的拍卖机制，在访问离线预言机的前提下，于对抗性环境中学习最优收益。
• 将先前关于单件拍卖中Myerson拍卖近似结果的研究，从独立同分布扩展至快速混合的马尔可夫过程。
• 为上下文学习、近似预言机以及同时拍卖中的无遗憾出价，开发预言机高效的算法。

提出的方法

• 提出广义跟随扰动领导者算法，该算法将FPL推广至可与任意离线预言机协同工作。
• 建立预言机与损失结构的充分条件，确保算法在保持预言机效率的同时实现渐近归零的遗憾。
• 将该框架应用于三种拍卖场景：具有投标人特定保留价的VCG机制、无嫉妒物品定价以及s级拍卖。
• 通过扰动驱动的探索策略，在保持预言机效率的同时平衡探索与利用。
• 通过引入如投标人人口统计等辅助信息，将方法扩展至上下文学习。
• 通过将预言机高效框架适配至多投标人、多物品环境，解决了同时拍卖中的无遗憾出价问题。

实验结果

研究问题

• RQ1 在Hazan和Koren的负面结果下，何种条件下可在对抗性环境中实现预言机高效的在线学习？
• RQ2 当估值遵循快速混合的马尔可夫过程时，Myerson拍卖是否可被近似学习？
• RQ3 如何将预言机高效的在线学习扩展至包含辅助信息的上下文学习？
• RQ4 近似预言机（如最大范围型）能否在预言机高效的在线学习中有效使用？
• RQ5 能否通过预言机高效框架实现在同时拍卖中的无遗憾出价？

主要发现

• 广义跟随扰动领导者算法在指定条件下实现了渐近归零的遗憾，同时保持预言机效率，从而解决了关键开放问题。
• 在单参数设置下，实现了具有投标人特定保留价的VCG拍卖的预言机高效学习。
• 通过所提框架，多物品拍卖中的无嫉妒物品定价被高效学习。
• 当估值遵循快速混合的马尔可夫过程时，s级拍卖被证明可作为最优Myerson拍卖的近似。
• 该框架支持包含辅助信息的上下文学习，使此类场景下的预言机高效学习成为可能。
• 通过所提预言机高效方法，解决了Daskalakis和Syrgkanis提出的关于同时拍卖中无遗憾出价的开放问题。