[论文解读] Fast Dawid-Skene: A Fast Vote Aggregation Scheme for Sentiment Classification

Vaibhav B. Sinha, Sukrut Rao+1 more|arXiv (Cornell University)|Mar 7, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 29被引用 13

一句话总结

本文提出快速达维德-斯凯恩（FDS）算法，一种基于硬期望最大化（EM）的投票聚合方法，通过将达维德-斯凯恩（DS）算法的收敛速度提升最高达7.84倍，同时保持相近的准确率，显著加速了众包情感分类的收敛过程。FDS通过将E步简化为硬标签分配，实现更快收敛，并支持在线聚合与多标签设置，在实验中表现出优异的性能。

ABSTRACT

Many real world problems can now be effectively solved using supervised machine learning. A major roadblock is often the lack of an adequate quantity of labeled data for training. A possible solution is to assign the task of labeling data to a crowd, and then infer the true label using aggregation methods. A well-known approach for aggregation is the Dawid-Skene (DS) algorithm, which is based on the principle of Expectation-Maximization (EM). We propose a new simple, yet effective, EM-based algorithm, which can be interpreted as a `hard' version of DS, that allows much faster convergence while maintaining similar accuracy in aggregation. We show the use of this algorithm as a quick and effective technique for online, real-time sentiment annotation. We also prove that our algorithm converges to the estimated labels at a linear rate. Our experiments on standard datasets show a significant speedup in time taken for aggregation - upto $\sim$8x over Dawid-Skene and $\sim$6x over other fast EM methods, at competitive accuracy performance. The code for the implementation of the algorithms can be found at https://github.com/GoodDeeds/Fast-Dawid-Skene

研究动机与目标

• 解决传统达维德-斯凯恩（DS）算法在众包情感分类中收敛缓慢的问题。
• 为实时与在线情感标注开发一种更快且准确的DS替代方法。
• 在流数据场景中实现高效聚合，满足低延迟的关键需求。
• 将方法扩展至每道问题允许多个正确答案的场景，提升其适用范围。
• 通过理论分析证明所提算法的线性收敛速率。

提出的方法

• FDS通过用硬标签分配替代DS的软E步，重新表述EM算法，即根据当前估计结果为每个样本分配最可能的类别。
• M步使用最大似然估计更新工人的错误率与类别先验，与DS类似，但因采用硬标签分配而实现更快收敛。
• 算法基于类别边际变化量（小于0.005）设定收敛阈值，以判断何时停止迭代。
• 在在线聚合中，FDS使用多数投票法进行初始预测，随后对每个新到达的数据点通过M步更新参数，并通过单次E步重新估计标签。
• 在多标签设置中，每个（问题，选项）对被视为独立的二分类任务，从而将问题转化为二分类场景。
• 混合变体在类别边际变化量低于阈值时，动态从DS切换至FDS，实现速度与准确率的平衡。

实验结果

研究问题

• RQ1 基于硬EM的DS替代方法是否能在不损失准确率的前提下实现显著更快的收敛？
• RQ2 所提方法在在线、实时情感聚合场景中的有效性如何？
• RQ3 该方法能否推广至每道问题允许多个正确答案的场景？
• RQ4 所提快速达维德-斯凯恩算法的理论收敛速率如何？
• RQ5 与纯DS和FDS相比，混合方法在速度与准确率之间如何实现平衡？

主要发现

• 在标准情感数据集上，FDS相比达维德-斯凯恩（DS）的收敛时间最快提升7.84倍，且准确率损失极小。
• 在SP数据集上，FDS仅用4次迭代即收敛，而DS需26次迭代，准确率分别为90.60%与90.94%。
• 在在线聚合场景中，FDS保持与离线FDS几乎相同的准确率，使用5名标注者时准确率达90.60%。
• 在AffectAnnotation数据集的多标签情感分类任务中，FDS准确率达94.14%，优于DS（88.66%）与混合方法（89.26%）。
• FDS在多标签数据集上的收敛时间仅为0.057秒，远低于DS的0.44秒。
• 理论分析证明，FDS以线性速率收敛至估计标签，支持其实际效率。