[论文解读] Crowdsourcing: Low Complexity, Minimax Optimal Algorithms

Thomas Bonald, Richard Combes|arXiv (Cornell University)|Jan 1, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 16被引用 4

一句话总结

本文提出三角估计（TE），一种低复杂度、适用于流式处理的算法，用于在众包环境中估计工作者可靠性，具有极小化最大误差的最优性能。TE 通过匹配新推导出的估计误差下限，实现理论最优性，且无需迭代计算。

ABSTRACT

We consider the problem of accurately estimating the reliability of workers based on noisy labels they provide, which is a fundamental question in crowdsourcing. We propose a novel lower bound on the minimax estimation error which applies to any estimation procedure. We further propose Triangular Estimation (TE), an algorithm for estimating the reliability of workers. TE has low complexity, may be implemented in a streaming setting when labels are provided by workers in real time, and does not rely on an iterative procedure. We further prove that TE is minimax optimal and matches our lower bound. We conclude by assessing the performance of TE and other state-of-the-art algorithms on both synthetic and real-world data sets.

研究动机与目标

• 建立众包环境中工作者可靠性估计的极小化最大误差的理论下限。
• 设计一种低复杂度算法，可在实时流式环境中高效运行。
• 开发一种极小化最大误差最优的估计方法，使其与推导出的理论下限相匹配。
• 在合成数据集和真实世界数据集上，评估 TE 与最先进方法的性能表现。

提出的方法

• 提出一种适用于任何工作者可靠性估计方法的极小化最大误差的新下限。
• 提出三角估计（TE），一种非迭代算法，利用成对标签比较来估计工作者可靠性。
• 设计 TE 以在流式模式下高效运行，随着新标签的到达逐步更新估计值。
• 在估计过程中采用三角结构，以降低计算复杂度，同时保持统计最优性。
• 证明 TE 可达到所推导出的极小化最大误差下限，确立其理论最优性。
• 使用合成数据集和真实世界数据集验证算法的性能与鲁棒性。

实验结果

研究问题

• RQ1 众包环境中工作者可靠性估计的极小化最大误差的根本极限（下限）是什么？
• RQ2 一种低复杂度、非迭代算法能否在工作者可靠性估计中实现极小化最大误差最优？
• RQ3 所提出的 TE 算法在合成数据集和真实世界设置下，与现有最先进方法相比表现如何？
• RQ4 该估计方法能否高效适配流式数据环境，同时不损失最优性？

主要发现

• 本文为工作者可靠性估计的极小化最大误差建立了新的理论下限，适用于任何估计方法。
• 三角估计（TE）被证明是极小化最大误差最优的，其估计误差达到所推导出的下限。
• TE 具有低计算复杂度，支持无需迭代优化的实时流式部署。
• 实证评估表明，TE 在合成数据集和真实世界数据集上均优于或等同于最先进算法。
• 该算法的非迭代设计使其在动态、大规模众包环境中可高效实现。