[论文解读] Crowdsourcing via Pairwise Co-occurrences: Identifiability and Algorithms

Shahana Ibrahim, Xiao Fu+2 more|arXiv (Cornell University)|Sep 26, 2019

Sparse and Compressive Sensing TechniquesEngineering参考文献 39被引用 21

一句话总结

本文提出了一种新颖的众包标签聚合框架，利用标注者响应的成对共现关系，实现了对Dawid-Skene模型的可证明可识别性，且样本复杂度低于基于张量的方法。通过利用二阶统计量和代数算法，该方法在稀疏标注和不可靠标注者的情况下，仍能有效识别混淆矩阵和真实标签先验，性能优于最先进基线方法。

ABSTRACT

The data deluge comes with high demands for data labeling. Crowdsourcing (or, more generally, ensemble learning) techniques aim to produce accurate labels via integrating noisy, non-expert labeling from annotators. The classic Dawid-Skene estimator and its accompanying expectation maximization (EM) algorithm have been widely used, but the theoretical properties are not fully understood. Tensor methods were proposed to guarantee identification of the Dawid-Skene model, but the sample complexity is a hurdle for applying such approaches---since the tensor methods hinge on the availability of third-order statistics that are hard to reliably estimate given limited data. In this paper, we propose a framework using pairwise co-occurrences of the annotator responses, which naturally admits lower sample complexity. We show that the approach can identify the Dawid-Skene model under realistic conditions. We propose an algebraic algorithm reminiscent of convex geometry-based structured matrix factorization to solve the model identification problem efficiently, and an identifiability-enhanced algorithm for handling more challenging and critical scenarios. Experiments show that the proposed algorithms outperform the state-of-art algorithms under a variety of scenarios.

研究动机与目标

• 解决基于张量的方法在识别众包标注的Dawid-Skene模型时样本复杂度过高的问题。
• 开发一种利用成对共现（二阶统计量）而非三阶统计量的框架，以提高样本效率。
• 在存在训练良好的标注者或部分标注等现实条件下，确保模型的可识别性。
• 设计高效且鲁棒的算法，适用于大规模众包应用，具备可证明的收敛性和准确性。
• 在多样化且具有挑战性的标注场景下，实现标签聚合准确率超越现有最先进方法。

提出的方法

• 利用标注者响应之间的成对共现统计量来估计联合响应分布，避免依赖三阶统计量。
• 采用受凸几何和结构化矩阵分解启发的代数算法，高效求解模型识别问题。
• 提出一种增强可识别性的迭代优化算法，用于处理不存在高度可靠标注者的情况。
• 依赖于至少存在一个标注者具有足够高可靠性的假设（例如，其混淆矩阵接近单位矩阵），以实现可识别性。
• 利用浓度不等式，界定在标注者随机采样数据时，可靠估计成对共现关系的样本复杂度。
• 通过分析概率单纯形中响应分布的几何结构，推导出可识别性的理论保证。

实验结果

研究问题

• RQ1 能否仅使用标注者响应的成对共现关系，而不依赖三阶统计量，识别Dawid-Skene模型？
• RQ2 在所提出的成对共现框架下，何种条件可确保真实标签先验和标注者混淆矩阵的可识别性？
• RQ3 在实际应用中，尤其在标注稀疏的情况下，所提方法的样本复杂度与基于张量的方法相比如何？
• RQ4 所提代数算法是否能在大规模众包环境中实现高准确率和可扩展性？
• RQ5 在不存在高度可靠标注者的情况下，增强可识别性的迭代算法如何提升性能？

主要发现

• 所提框架仅使用二阶统计量，即可在存在训练良好的标注者等现实条件下实现模型可识别性。
• 估计成对共现关系的样本复杂度显著低于三阶统计量，尤其在标注概率较低时更为明显。
• 代数算法提供高效、可扩展的解决方案，适用于大规模众包场景，且具备可证明的收敛性。
• 增强可识别性的迭代算法在无高度可靠标注者等挑战性场景中提升了鲁棒性。
• 实验表明，两种所提算法在各种标注场景和数据稀疏度水平下，均优于现有最先进方法。
• 理论边界表明，当标注者数量足够多时（例如，至少为 1 + (2^{K-4}(K-1)^2)/(K α_min^{2(K-2)} ε^2) log(K(K-1)/ρ)），模型以高概率是ε-充分分散且可识别的。