[论文解读] A Minimax Optimal Algorithm for Crowdsourcing

Thomas Bonald, Richard Combes|arXiv (Cornell University)|Jun 1, 2016

Mobile Crowdsensing and Crowdsourcing被引用 29

一句话总结

本文提出三角估计（Triangular Estimation, TE），一种最小最大最优、低复杂度的算法，用于通过工作者三元组的成对相关性估计众包中的工作者可靠性。TE 通过匹配新推导的估计误差下限实现最小最大最优性，并在流式设置中高效运行，无需迭代过程或完整数据存储。

ABSTRACT

We consider the problem of accurately estimating the reliability of workers based on noisy labels they provide, which is a fundamental question in crowdsourcing. We propose a novel lower bound on the minimax estimation error which applies to any estimation procedure. We further propose Triangular Estimation (TE), an algorithm for estimating the reliability of workers. TE has low complexity, may be implemented in a streaming setting when labels are provided by workers in real time, and does not rely on an iterative procedure. We further prove that TE is minimax optimal and matches our lower bound. We conclude by assessing the performance of TE and other state-of-the-art algorithms on both synthetic and real-world data sets.

研究动机与目标

• 建立众包中工作者可靠性估计误差的非渐近最小最大下界。
• 设计一种低复杂度、兼容流式处理的算法，实现最小最大最优性，且不依赖迭代过程。
• 证明现有算法中的 EM 阶段在二值标注任务中并非实现最小最大最优性的必要条件。
• 在合成数据集和真实世界数据集上，评估 TE 与最先进方法的性能表现。
• 通过三个最具信息量的工作者之间的相互作用与平均工作者可靠性，识别众包问题的困难实例。

提出的方法

• 推导出依赖于三个最具信息量的工作者可靠性及所有工作者平均可靠性的估计误差最小最大下界。
• 提出三角估计（TE），通过利用工作者三元组之间的相关性来估计可靠性，避免对完整数据存储的需求。
• 采用非迭代、兼容流式处理的更新规则，保持低内存和计算复杂度。
• 使用适用于有限样本场景的集中不等式，推导出非渐近性能保证。
• 与推导出的最小最大下界相匹配，证明 TE 在非渐近范围内具有最小最大最优性。
• 通过将真实世界多分类标签分组为两类，对标签进行变换，以兼容二值模型。

实验结果

研究问题

• RQ1 在二值标注下，众包中工作者可靠性估计的理论极限（最小最大下界）是什么？
• RQ2 非迭代、兼容流式处理的算法是否能在有限样本设置下实现最小最大最优性？
• RQ3 在二值众包中，迭代的 EM 过程是否为实现最小最大最优性的必要条件？是否存在更简单的替代方法？
• RQ4 TE 在合成数据和真实世界数据集上的性能与 S-EM、KOS 和 GKM 等最先进算法相比如何？
• RQ5 三个最具信息量的工作者与平均可靠性如何共同影响估计问题的难度？

主要发现

• 最小最大下界依赖于三个最具信息量的工作者的可靠性以及所有工作者的平均可靠性，从而识别出‘困难’的问题实例。
• TE 与推导出的最小最大下界完全匹配，证明其在非渐近范围内具有最小最大最优性。
• 在 $a = 0.9$ 的合成数据上，TE 的预测误差为 0.004，与 Oracle 性能一致，显著优于多数投票法（0.046）。
• 在真实世界‘Web’数据集（高工作者度与标签密度）上，TE 的预测误差为 0.03，略优于 S-EM，并与表现最佳的 KOS 和 GKM 算法相当。
• 在低度数场景（如 $b=1$）下，TE 持续优于多数投票法及其他基线方法，在‘Temp’数据集上预测误差为 0.128，而多数投票法为 0.419。
• 结果表明，现有算法中的 EM 阶段并非实现最小最大最优性的必要条件，因为 TE 在无需 EM 的情况下同时实现了最优性与优异的实证性能。