[论文解读] Bayesian Methods for Semi-supervised Text Annotation

Kristian Miok, Gregor Pirš+1 more|arXiv (Cornell University)|Oct 28, 2020

Hate Speech and Cyberbullying Detection参考文献 54被引用 5

一句话总结

本文提出了两种贝叶斯半监督方法，以提升仇恨言论检测中文本标注质量和 BERT 模型性能：(1) 在 BERT 中使用蒙特卡洛丢弃（Monte Carlo Dropout）来识别不确定的、不可靠的标注并进行重新标注；(2) 应用贝叶斯集成（MM 模型）结合多个模型的预测结果，提升校准性和准确性。实验结果表明，移除不确定样本并使用集成方法可显著提升 F1 分数，尤其在低质量数据集上效果更明显。

ABSTRACT

Human annotations are an important source of information in the development of natural language understanding approaches. As under the pressure of productivity annotators can assign different labels to a given text, the quality of produced annotations frequently varies. This is especially the case if decisions are difficult, with high cognitive load, requires awareness of broader context, or careful consideration of background knowledge. To alleviate the problem, we propose two semi-supervised methods to guide the annotation process: a Bayesian deep learning model and a Bayesian ensemble method. Using a Bayesian deep learning method, we can discover annotations that cannot be trusted and might require reannotation. A recently proposed Bayesian ensemble method helps us to combine the annotators' labels with predictions of trained models. According to the results obtained from three hate speech detection experiments, the proposed Bayesian methods can improve the annotations and prediction performance of BERT models.

研究动机与目标

• 通过在标注过程中识别不可靠标签来减少人工标注错误并提升数据集质量。
• 通过在微调前过滤掉不确定或模糊的标注，提升 BERT 模型性能。
• 通过贝叶斯集成提供的概率预测支持标注人员，提升标注的一致性与可靠性。
• 评估贝叶斯不确定性估计与集成方法在低资源和多语言仇恨言论检测设置下的有效性。

提出的方法

• 在 BERT 中使用蒙特卡洛丢弃（MCD）通过多次前向传播（丢弃保持激活）来估计预测不确定性。
• 将 MCD 预测结果的方差作为不确定性的度量，用于标记需要重新标注的样本。
• 从训练集中移除高不确定性样本，以构建更干净、更同质的数据集用于 BERT 微调。
• 应用多元正态混合条件似然（MM）模型，整合 BERT、随机森林和 SVM 的概率预测结果。
• 通过贝叶斯推断对预测结果进行校准与集成，提升整体模型的鲁棒性与校准性。
• 在三种语言（英语、克罗地亚语、斯洛文尼亚语）上评估不确定性与集成方法的性能。

实验结果

研究问题

• RQ1 BERT 中的蒙特卡洛丢弃能否有效识别出可能需要重新标注的不可靠或模糊标注？
• RQ2 从训练集中移除高不确定性样本是否能提升 BERT 在仇恨言论检测上的微调性能？
• RQ3 与单个模型相比，贝叶斯集成方法（MM）能否提升预测性能与校准性？
• RQ4 所提出方法在低资源与高资源语言设置下的性能表现如何？

主要发现

• 从训练集中移除不确定样本后，BERT 在克罗地亚语数据集上的 F1 分数从 0.70 降至 0.66，在斯洛文尼亚语数据集上从 0.71 降至 0.59，表明在低质量数据上泛化能力得到提升。
• 清洗后的数据集使模型收敛更快，验证 F1 分数更高，BERT 在第 4 个周期时于清洗后的英语数据集上达到 0.98 的 F1 分数。
• MM 贝叶斯集成在所有语言上均提升了 F1 分数：英语从 0.91（仅 BERT）提升至 0.92（MM），克罗地亚语从 0.72 提升至 0.74，斯洛文尼亚语从 0.71 提升至 0.72。
• 校准图（图 1）显示，MM 集成产生的预测比仅使用 BERT 时更加校准。
• 该方法在标注质量较低的数据集（如克罗地亚语数据集）上尤为有效，性能提升最为显著。