[论文解读] Inference Aided Reinforcement Learning for Incentive Mechanism Design in Crowdsourcing

Zehong Hu, Yitao Liang+3 more|arXiv (Cornell University)|Jan 1, 2018

Mobile Crowdsensing and Crowdsourcing被引用 11

一句话总结

本文提出了一种基于强化学习的众包激励机制，能够在不了解工人行为先验知识的情况下动态设定报酬。通过结合吉布斯抽样以实时推断工人策略，并引入一种新型强化激励学习（RIL）框架，该方法能够即时且长期地从理性工人处获得高质量标注，其鲁棒性与方差降低性能优于静态机制。

ABSTRACT

Incentive mechanisms for crowdsourcing are designed to incentivize financially self-interested workers to generate and report high-quality labels. Existing mechanisms are often developed as one-shot static solutions, assuming a certain level of knowledge about worker models (expertise levels, costs for exerting efforts, etc.). In this paper, we propose a novel inference aided reinforcement mechanism that acquires data sequentially and requires no such prior assumptions. Specifically, we first design a Gibbs sampling augmented Bayesian inference algorithm to estimate workers' labeling strategies from the collected labels at each step. Then we propose a reinforcement incentive learning (RIL) method, building on top of the above estimates, to uncover how workers respond to different payments. RIL dynamically determines the payment without accessing any ground-truth labels. We theoretically prove that RIL is able to incentivize rational workers to provide high-quality labels both at each step and in the long run. Empirical results show that our mechanism performs consistently well under both rational and non-fully rational (adaptive learning) worker models. Besides, the payments offered by RIL are more robust and have lower variances compared to existing one-shot mechanisms.

研究动机与目标

• 解决现有单次激励机制对工人专业能力与成本强假设的局限性。
• 设计一种动态激励机制，根据观察到的标注行为实时调整报酬。
• 在无需真实标签或工人模型先验知识的情况下，实现理性工人生成高质量标注。
• 通过自适应学习与推断，确保对高质量贡献的长期与即时激励。
• 相比传统静态机制，降低报酬方差并提升鲁棒性。

提出的方法

• 使用吉布斯抽样从每一步观察到的标签中推断工人的标注策略，估计其潜在行为与响应模式。
• 将推断出的工人策略整合进强化学习框架，以建模工人对不同报酬水平的响应方式。
• 开发一种强化激励学习（RIL）算法，基于推断的工人响应动态确定最优报酬。
• 利用估计的工人策略在无真实标签访问的情况下模拟并优化报酬策略。
• 将学习目标表述为在预算约束与激励相容性下最大化预期标注质量。
• 通过形式化证明确保理论收敛至激励相容均衡，从而确立其短期与长期有效性。

实验结果

研究问题

• RQ1 能否设计一种动态激励机制，在不假设工人行为先验的情况下，获取高质量标注？
• RQ2 如何实时准确地从观察到的标注中推断工人的标注策略？
• RQ3 在无真实标签的情况下，强化学习在多大程度上可用于确定最优报酬？
• RQ4 所提出的机制是否能在多轮交互中持续为理性工人提供强激励？
• RQ5 与静态机制相比，RIL机制在报酬鲁棒性与方差方面的表现如何？

主要发现

• 理论分析证明，所提出的RIL机制能够有效激励理性工人即时及长期提供高质量标注。
• 实证评估表明，该机制在理性工人及非完全理性（自适应学习）工人模型下均表现稳定。
• RIL生成的报酬方差显著低于现有单次机制，表明其具有更高的稳定性。
• 该机制无需访问真实标签，仅依赖于观察到的标注模式与推断策略运行。
• 基于吉布斯抽样的推断组件能有效捕捉工人行为，从而准确预测其对报酬变化的响应。
• 在工人特征不确定或动态变化的环境中，该方法在鲁棒性方面优于静态机制。