[论文解读] Learning Prices for Repeated Auctions with Strategic Buyers

Kareem Amin, Afshin Rostamizadeh+1 more|arXiv (Cornell University)|Nov 26, 2013

Advanced Bandit Algorithms Research参考文献 17被引用 74

一句话总结

本文提出了一种针对重复报价拍卖的战略后悔框架，其中买家通过延迟购买来战略性地最小化成本。论文提出了卖家算法，当买家对未来的收益进行贴现时，这些算法可实现无战略后悔；并证明了在无贴现情况下，此类算法不可能存在，因为战略后悔会线性增长。

ABSTRACT

Inspired by real-time ad exchanges for online display advertising, we consider the problem of inferring a buyer's value distribution for a good when the buyer is repeatedly interacting with a seller through a posted-price mechanism. We model the buyer as a strategic agent, whose goal is to maximize her long-term surplus, and we are interested in mechanisms that maximize the seller's long-term revenue. We define the natural notion of strategic regret --- the lost revenue as measured against a truthful (non-strategic) buyer. We present seller algorithms that are no-(strategic)-regret when the buyer discounts her future surplus --- i.e. the buyer prefers showing advertisements to users sooner rather than later. We also give a lower bound on strategic regret that increases as the buyer's discounting weakens and shows, in particular, that any seller algorithm will suffer linear strategic regret if there is no discounting.

研究动机与目标

• 解决传统无后悔 bandit 算法在重复报价拍卖中的局限性，即当战略买家通过延迟购买操纵价格时。
• 定义并分析战略后悔——相对于诚实买家基准，因买家操纵导致的收益损失。
• 设计对战略买家行为具有鲁棒性的卖家学习算法，并在合理假设下实现无战略后悔。
• 建立理论下界，证明当买家不贴现未来收益时，战略后悔会线性增长，从而证明贴现对于学习的必要性。

提出的方法

• 引入一种新颖的战略后悔概念：卖家收益与若买家始终诚实且全程使用最优固定价格时所能获得的收益之间的差值。
• 将买家建模为最大化长期收益的策略性代理，并假设买家观察并针对卖家的学习算法进行优化。
• 采用卖家的随机策略，其中价格基于过去交互的加权经验分布选择，权重随时间衰减。
• 通过时变权重序列 $\gamma_t$（其中 $\gamma_t \in [0,1]$）引入贴现机制，以建模买家对即时收益而非延迟收益的偏好。
• 证明在贴现条件下，卖家的战略后悔被限制在底层 bandit 算法的标准后悔范围内，从而确保无战略后悔。
• 采用向单次激励相容机制的约化方法，表明在所定义框架下，卖家策略既合理又具有激励相容性。

实验结果

研究问题

• RQ1 当买家具有战略意图并旨在最小化总成本时，卖家是否能够在重复报价拍卖中学习到最优价格？
• RQ2 买家行为（如贴现）需要满足何种条件，才能使卖家实现无战略后悔？
• RQ3 战略买家行为如何影响标准无后悔 bandit 算法在此设置下的性能？
• RQ4 是否可以设计对战略操纵具有鲁棒性且仍能实现低后悔的卖家算法？
• RQ5 当买家不贴现未来收益时，此设置下学习的根本限制是什么？

主要发现

• 本文证明，若买家对未来的收益进行贴现，卖家可通过适当设计的学习算法实现无战略后悔。
• 当买家不贴现未来收益（即目光短浅）时，任何卖家算法都会面临线性战略后悔，证明贴现是学习的必要条件。
• 战略后悔被限制在底层 bandit 算法的标准后悔范围内，表明战略行为不会使后悔超过基线水平。
• 所提出的机制确保了卖家策略既合理又具有激励相容性，因其与买家最大化收益的行为保持一致。
• 理论分析证明，无后悔学习在无买家贴现时不可能实现，从而确立了战略后悔的根本下界。