[论文解读] Adaptive Contract Design for Crowdsourcing Markets: Bandit Algorithms for Repeated Principal-Agent Problems

Chien-Ju Ho, Aleksandrs Slivkins+1 more|arXiv (Cornell University)|May 12, 2014

Auction Theory and Applications参考文献 48被引用 6

一句话总结

本文提出了一种新颖的自适应多臂赌博机算法——AgnosticZooming，用于众包市场中的动态合同设计，其中请求方随时间优化基于质量的支付。通过根据性能自适应地细化合同空间的离散化，该算法实现了次线性遗憾，显著优于非自适应离散化方法，推动了主从问题与动态定价理论的发展。

ABSTRACT

Crowdsourcing markets have emerged as a popular platform for matching available workers with tasks to complete. The payment for a particular task is typically set by the task's requester, and may be adjusted based on the quality of the completed work, for example, through the use of "bonus" payments. In this paper, we study the requester's problem of dynamically adjusting quality-contingent payments for tasks. We consider a multi-round version of the well-known principal-agent model, whereby in each round a worker makes a strategic choice of the effort level which is not directly observable by the requester. In particular, our formulation significantly generalizes the budget-free online task pricing problems studied in prior work. We treat this problem as a multi-armed bandit problem, with each "arm" representing a potential contract. To cope with the large (and in fact, infinite) number of arms, we propose a new algorithm, AgnosticZooming, which discretizes the contract space into a finite number of regions, effectively treating each region as a single arm. This discretization is adaptively refined, so that more promising regions of the contract space are eventually discretized more finely. We analyze this algorithm, showing that it achieves regret sublinear in the time horizon and substantially improves over non-adaptive discretization (which is the only competing approach in the literature). Our results advance the state of art on several different topics: the theory of crowdsourcing markets, principal-agent problems, multi-armed bandits, and dynamic pricing.

研究动机与目标

• 解决众包市场中请求方随时间设定基于质量的支付的动态合同设计问题。
• 将请求方与工作者的互动建模为具有不可观测努力的重复主从问题。
• 开发一种算法，高效探索连续合同空间，且无需假设Lipschitz连续性。
• 在时间跨度上实现次线性遗憾，优于非自适应离散化方法。
• 通过允许更丰富的、非预算自由的合同结构，推广先前关于在线任务定价的研究。

提出的方法

• 将问题形式化为具有不可数无限多个“臂”的多臂赌博机问题，每个“臂”代表一个可能的合同。
• 提出一种新算法——AgnosticZooming，根据性能反馈自适应地将合同空间划分为有限个单元。
• 在表现出更高期望效用的区域中细化离散化，将计算资源集中于最关键区域。
• 采用基于索引的探索策略，在单元之间平衡利用与探索，且无需Lipschitz假设。
• 该算法在时间跨度上保持次线性遗憾界，即使在缺乏平滑性假设的情况下亦成立。
• 理论分析表明，AgnosticZooming在一般情况和特殊情况下均优于均匀离散化。

实验结果

研究问题

• RQ1 能否设计一种赌博机算法，以高效探索动态主从问题中的连续合同空间？
• RQ2 自适应离散化相比非自适应（均匀）离散化如何改善遗憾性能？
• RQ3 去除Lipschitz连续性假设对算法设计和遗憾界有何影响？
• RQ4 在多大程度上可以使用有限个候选合同集合来近似最优合同？
• RQ5 工作者类型和努力选择的结构如何影响动态合同设计的性能？

主要发现

• AgnosticZooming算法在时间跨度上实现了次线性遗憾，证明即使在连续合同空间中，高效学习也是可能的。
• 该算法显著优于非自适应离散化，尤其在最优合同位于空间中一个小型复杂区域时表现更优。
• 理论分析证实，即使在无Lipschitz假设下，自适应细化仍能降低遗憾，优于均匀网格划分。
• 本文确立了单调合同可能并非最优，强调在某些场景中需要非单调合同设计。
• 遗憾界具有鲁棒性，并可推广至多种特殊情况，包括工作者类型的混合与参数化分布。
• 本工作开辟了新的研究方向，包括动态合同设计的下界研究，以及与预算约束赌博机模型的集成。