[论文解读] Efficient PAC Learning from the Crowd

Pranjal Awasthi, Avrim Blum+2 more|arXiv (Cornell University)|Mar 21, 2017

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种新颖的框架，通过整合标注与学习过程，实现从众包中高效的PAC学习，使每个样本的标注开销恒定，计算效率高。该方法通过图模型中的意见分歧测试识别出表现良好的标注者，即使仅多数标注者可靠，也能实现高精度分类。

ABSTRACT

In recent years crowdsourcing has become the method of choice for gathering labeled training data for learning algorithms. Standard approaches to crowdsourcing view the process of acquiring labeled data separately from the process of learning a classifier from the gathered data. This can give rise to computational and statistical challenges. For example, in most cases there are no known computationally efficient learning algorithms that are robust to the high level of noise that exists in crowdsourced data, and efforts to eliminate noise through voting often require a large number of queries per example. In this paper, we show how by interleaving the process of labeling and learning, we can attain computational efficiency with much less overhead in the labeling cost. In particular, we consider the realizable setting where there exists a true target function in $\mathcal{F}$ and consider a pool of labelers. When a noticeable fraction of the labelers are perfect, and the rest behave arbitrarily, we show that any $\mathcal{F}$ that can be efficiently learned in the traditional realizable PAC model can be learned in a computationally efficient manner by querying the crowd, despite high amounts of noise in the responses. Moreover, we show that this can be done while each labeler only labels a constant number of examples and the number of labels requested per example, on average, is a constant. When no perfect labelers exist, a related task is to find a set of the labelers which are good but not perfect. We show that we can identify all good labelers, when at least the majority of labelers are good.

研究动机与目标

• 解决传统众包学习中标注与学习分离导致的计算低效和高标注成本问题。
• 克服众包数据中噪声过高的挑战，尤其是在仅有少数标注者可靠的情况下。
• 设计一种学习算法，在最小化每个样本和每个标注者标注数量的同时，保持计算效率。
• 在超过一半的标注者为可靠标注者时，识别出所有可靠的（良好）标注者，即使存在坏标注者带来的任意噪声。
• 实现每个样本和每个标注者的标注开销恒定，从而支持在真实众包环境中可扩展且实用的部署。

提出的方法

• 将人群建模为图结构，其中标注者为节点，边表示标注者之间的低分歧。
• 通过随机采样标注者对，在大小为 $O(\frac{1}{\epsilon}\ln(\frac{n}{\delta}))$ 的未标注测试集上估计其分歧。
• 应用Chernoff不等式，确保经验分歧估计值以高概率接近真实分歧值。
• 通过逐步构建图，将分歧估计值低于 $2.5\epsilon$ 的标注者对之间添加边。
• 将大小至少为 $n/4$ 的连通分量识别为候选良好标注者聚类。
• 通过与大分量代表的分歧测试，执行额外验证步骤，将较小分量合并为更大分量。

实验结果

研究问题

• RQ1 当仅有少数标注者为完美标注者时，能否实现计算高效的众包PAC学习？
• RQ2 当超过一半的标注者为良好标注者时，是否能仅通过每个标注者恒定数量的查询，识别出所有良好标注者（误差 $\leq \epsilon$）？
• RQ3 在可实现PAC设定下，即使存在高噪声，能否将每个样本的标注成本降低到最优值的常数倍？
• RQ4 如何设计一种基于图的算法，可靠地聚类良好标注者，同时避免坏标注者带来的误报？
• RQ5 识别所有良好标注者所需每个标注者的期望查询负载是多少？

主要发现

• 当超过一半的标注者为良好标注者且其误差不超过 $\epsilon$ 时，所提算法以概率 $1 - \delta$ 识别出所有良好标注者。
• 该算法确保良好标注者连接成一个大小大于 $n/4$ 的单一大连通分量，从而实现可靠识别。
• 每个标注者的期望标注数量为 $O\left(\frac{1}{\epsilon}\ln\left(\frac{n}{\delta}\right)\right)$，对于固定的 $\epsilon$ 和 $\delta$，每个标注者为常数。
• 每个样本请求的总标注数量为常数，与可实现PAC设定相比实现了 $O(1)$ 的开销。
• 该方法对坏标注者的任意行为具有鲁棒性，只要良好标注者数量足够多且准确度足够高。
• 通过集中不等式（Chernoff不等式）和随机图论建立了理论保证，确保高概率正确性。