[论文解读] MIPT-NSU-UTMN at SemEval-2021 Task 5: Ensembling Learning with Pre-trained Language Models for Toxic Spans Detection

Mikhail Kotyushev, Anna Glazkova+1 more|arXiv (Cornell University)|Apr 10, 2021

Hate Speech and Cyberbullying Detection参考文献 40被引用 3

一句话总结

本文提出一种基于 BERT 的集成方法，通过两阶段微调实现社交媒体文本中的毒性片段检测。该方法在 Jigsaw 数据集上进行领域特定的预训练，随后进行 token 级分类，结合集成策略使 SemEval-2021 测试集上的 F1 分数达到 67.55%，较平均分高出近 10%。

ABSTRACT

This paper describes our system for SemEval-2021 Task 5 on Toxic Spans Detection. We developed ensemble models using BERT-based neural architectures and post-processing to combine tokens into spans. We evaluated several pre-trained language models using various ensemble techniques for toxic span identification and achieved sizable improvements over our baseline fine-tuned BERT models. Finally, our system obtained a F1-score of 67.55% on test data.

研究动机与目标

• 解决识别社交媒体评论中特定毒性片段的挑战，该任务比整体文本毒性检测更为细粒度。
• 通过使用预训练语言模型进行迁移学习，提升低资源、片段级毒性语言检测的性能。
• 探究多阶段微调与集成学习在毒性片段检测中提升泛化能力与鲁棒性的有效性。
• 通过领域自适应的预训练和后处理策略，缓解共享任务中的数据稀疏性和标注模糊性问题。

提出的方法

• 在大规模 Jigsaw 数据集上微调 BERT-base-uncased 模型，将毒性评分 ≥0.5 的样本作为正样本，并采用 3:1 的负样本比例以增强领域对齐。
• 在 SemEval-2021 训练集和验证集上进行第二阶段微调，实现 token 级二分类的毒性片段检测。
• 应用多种集成策略：硬投票（片段交集与并集）、加权概率的软投票，以及在验证数据上训练元分类器。
• 使用 Hugging Face Transformers 库进行模型训练与推理，采用 token 级分类头对每个 token 预测毒性。
• 通过基于 token 偏移量的规则化合并方法，将连续预测为毒性的 token 合并为片段，进行后处理。
• 利用单一保留验证集优化集成性能，以选择最佳的模型组合与投票策略。

实验结果

研究问题

• RQ1 在大规模通用毒性评论数据集上进行第一阶段微调，再在目标片段级任务上进行第二阶段微调，是否能提升毒性片段检测的性能？
• RQ2 在片段级毒性检测中，哪种集成策略（硬投票、软投票或元分类器）能获得最佳 F1 分数？
• RQ3 在 Jigsaw 数据上进行领域自适应预训练，如何影响模型对细微或语境相关毒性片段的检测能力？
• RQ4 数据集中标注模糊性与讽刺表达在多大程度上影响模型的泛化能力与性能表现？
• RQ5 集成方法是否能缓解在无毒性片段标注的非毒性帖子中出现的过度预测问题？

主要发现

• 两阶段微调方法显著优于基线 BERT 模型，最佳测试集 F1 分数达到 67.55%。
• 在第二阶段训练中，模型在合并的训练集与试验集上进行五折交叉验证，平均 F1 分数为 0.6714。
• 片段交集集成策略表现最佳，优于使用并集的硬投票与软投票方法。
• 该系统在所有 91 支参赛队伍中平均 F1 分数 57.81% 的基础上提升了近 10 个百分点，排名 27 位（共 91 支队伍）。
• 模型在无毒性片段标注的文本中表现不佳，常在讽刺或语境相关但未标注的表达中产生误报。
• 多个测试样例揭示了潜在的标注可信度问题，如标注不一致或范围过宽，可能对性能限制有所贡献。