[论文解读] Exact Exponent in Optimal Rates for Crowdsourcing

Chao Gao, Yu Lu+1 more|arXiv (Cornell University)|May 25, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 18被引用 16

一句话总结

本文在Dawid-Skene模型下建立了众包标签聚合的极小极大率中的精确误差指数，证明最优误差率以指数 $-mI(\pi)$ 衰减，其中 $I(\pi)$ 为工人之间平均的Chernoff信息。该结果给出了精确的样本量要求 $m > \frac{1}{I(\pi)}\log\frac{1}{\epsilon}$，以实现 $\epsilon$ 的误分类误差，并证实了以一致估计量初始化的EM类算法的最优性。

ABSTRACT

In many machine learning applications, crowdsourcing has become the primary means for label collection. In this paper, we study the optimal error rate for aggregating labels provided by a set of non-expert workers. Under the classic Dawid-Skene model, we establish matching upper and lower bounds with an exact exponent $mI(π)$ in which $m$ is the number of workers and $I(π)$ the average Chernoff information that characterizes the workers' collective ability. Such an exact characterization of the error exponent allows us to state a precise sample size requirement $m>\frac{1}{I(π)}\log\frac{1}ε$ in order to achieve an $ε$ misclassification error. In addition, our results imply the optimality of various EM algorithms for crowdsourcing initialized by consistent estimators.

研究动机与目标

• 通过建立众包标签聚合在极小极大误差率中的精确指数，填补先前研究的空白。
• 通过Chernoff信息 $I(\pi)$ 描述群体的集体智慧，该信息量化了工人区分不同类别的能力。
• 推导出实现目标误分类误差 $\epsilon$ 所需的精确样本量要求 $m > \frac{1}{I(\pi)}\log\frac{1}{\epsilon}$。
• 证明当以一致估计量初始化时，EM类算法在众包中的最优性。

提出的方法

• 在已知混淆矩阵的Dawid-Skene模型下，推导极小极大风险 $\mathcal{M} = \inf_{\hat{y}}\sup_{y\in[k]^n}\mathbb{E}_{\pi,y}[L(\hat{y},y)]$。
• 将误差指数定义为 $-mI(\pi)$，其中 $I(\pi) = \min_{g\neq h} C(\pi_{g*}, \pi_{h*})$，$C$ 为1/2阶Rényi散度。
• 利用大偏差和集中不等式，建立误差率的匹配上下界。
• 对对数似然比统计量应用中心极限定理，推导出在原假设和备择假设下检验统计量的渐近正态性。
• 使用Lindeberg条件验证由工人响应导出的i.i.d.随机变量之和的渐近正态性。
• 证明谱方法可通过利用混淆矩阵的结构实现最优误差指数。

实验结果

研究问题

• RQ1 众包标签聚合的极小极大误差指数衰减的精确指数是什么？
• RQ2 工人群体的综合能力——通过平均Chernoff信息量化——如何决定在给定误差容限下的所需工人数？
• RQ3 当以一致估计量初始化时，现有基于EM的算法能否被证明是最优的？原因是什么？
• RQ4 在何种条件下，用于标签估计的对数似然比统计量具有渐近正态性？
• RQ5 谱方法在实现最优误差指数方面与其它聚合技术相比如何？

主要发现

• 极小极大误差率以精确速率 $\exp(-mI(\pi))(1+o(1))$ 指数衰减，其中 $I(\pi)$ 为工人之间平均的Chernoff信息。
• 建立了精确的样本量要求：$m > \frac{1}{I(\pi)}\log\frac{1}{\epsilon}$ 既必要也充分，可实现 $\epsilon$ 的误分类误差。
• 误差指数 $-mI(\pi)$ 同时匹配上下界，解决了先前研究中仅知 $\Omega(I(\pi)^{-1}\log(1/\epsilon))$ 的差距。
• 谱方法被证明可实现最优误差指数，确认了其在Dawid-Skene模型下的统计最优性。
• 结果表明，以一致估计量初始化的EM算法是最优的，因为其达到了精确的极小极大率。
• 在较弱条件下（包括 $|\log \rho_m| = o(\rho_m |\mathcal{A}_{0.01}|^{1/2})$ 和 $|\log \rho_m| = o(\sqrt{m}I(\pi))$）建立了对数似然比统计量的渐近正态性。