[论文解读] Minimax Optimal Convergence Rates for Estimating Ground Truth from Crowdsourced Labels

Chao Gao, Dengyong Zhou|arXiv (Cornell University)|Oct 22, 2013

Mobile Crowdsensing and Crowdsourcing参考文献 31被引用 61

一句话总结

本文通过投影期望最大化（EM）算法，首次建立了基于Dawid-Skene估计器从众包数据中估计真实标签的最小最大最优收敛速率。证明了误差率以指数速度衰减，衰减速率由群体智慧决定，且该速率在最小最大意义下不可改进，从而填补了众包估计领域长期存在的理论空白。

ABSTRACT

Crowdsourcing has become a primary means for label collection in many real-world machine learning applications. A classical method for inferring the true labels from the noisy labels provided by crowdsourcing workers is Dawid-Skene estimator. In this paper, we prove convergence rates of a projected EM algorithm for the Dawid-Skene estimator. The revealed exponent in the rate of convergence is shown to be optimal via a lower bound argument. Our work resolves the long standing issue of whether Dawid-Skene estimator has sound theoretical guarantees besides its good performance observed in practice. In addition, a comparative study with majority voting illustrates both advantages and pitfalls of the Dawid-Skene estimator.

研究动机与目标

• 为填补对Dawid-Skene估计器统计性质理解的理论空白，该估计器虽在实践中广泛应用，但长期缺乏正式分析。
• 为用于从噪声众包标签中估计真实标签的投影EM算法建立收敛速率。
• 推导最小最大下界，以证明该估计器所实现收敛速率的最优性。
• 将Dawid-Skene估计器与多数投票法进行比较，突出其在模型误设情况下的优势与局限性。
• 为标签和工作者能力估计提供非渐近误差界，并推导其渐近分布。

提出的方法

• 提出一种投影EM算法，用于在Dawid-Skene模型中迭代估计真实标签与工作者可靠性参数。
• 采用两阶段估计流程：E步基于当前的工作者可靠性估计计算真实标签的后验概率；M步通过最大边际似然法更新工作者可靠性参数。
• 应用非渐近浓度不等式与高维概率工具，推导平均损失与最大损失下的估计误差界。
• 在有限样本条件下，推导所有工作者能力估计联合分布的高维中心极限定理。
• 基于信息论与最小最大决策理论，采用下界论证方法，证明收敛指数的最优性。
• 构建一个包含垃圾评论者（spammers）的具体实例，以说明在模型假设下，多数投票法存在不一致性，而Dawid-Skene估计器则保持稳健。

实验结果

研究问题

• RQ1 Dawid-Skene估计器在从众包标签中估计真实标签时是否具有统计一致性？其收敛速率如何？
• RQ2 能否刻画Dawid-Skene估计器所用投影EM算法的收敛速率？该速率是否为最小最大最优？
• RQ3 在模型误设条件下，Dawid-Skene估计器与多数投票法在一致性和鲁棒性方面有何差异？
• RQ4 估计真实标签与工作者能力的非渐近误差界是什么？
• RQ5 对任意有限名工作者子集，标签估计器的精确渐近分布是什么？所有工作者能力的联合渐近分布又是什么？

主要发现

• Dawid-Skene估计器的收敛速率呈指数级小，其指数由群体智慧决定，且该指数为最小最大最优。
• 本文建立了最小最大下界，证明该收敛速率无法进一步提升，从而确认了估计器的理论最优性。
• 非渐近界表明，平均损失与最大损失下的估计误差以高概率被控制在 $ O\left(\sqrt{\frac{\log m}{m}}\right) $ 以内。
• 对所有工作者，工作者能力估计满足 $ \|\hat{p}_i - p_i^*\| \leq O\left(\sqrt{\frac{\log m}{m}}\right) $，且该界在所有工作者上一致成立。
• 在多数工作者为垃圾评论者的情境下，多数投票法无法收敛，而Dawid-Skene估计器仍能以指数速度收敛。
• 推导了任意有限名工作者子集的标签估计器的渐近分布，并为所有工作者能力的联合分布建立了高维中心极限定理。