[论文解读] Can We Achieve More with Less? Exploring Data Augmentation for Toxic Comment Classification

Chetanya Rastogi, Nikka Mofid+1 more|arXiv (Cornell University)|Jul 2, 2020

Hate Speech and Cyberbullying Detection被引用 7

一句话总结

本文研究了数据增强技术——特别是易用数据增强（EDA）和回译——是否能提升小样本数据集上毒性评论分类的性能。基于维基百科毒性评论数据集，研究结果表明，将这些方法与逻辑回归或支持向量机（SVM）结合，可显著提升F1和召回率分数；而Bi-LSTM模型则主要从回译本身获益，因其能更好地保持语义结构。

ABSTRACT

This paper tackles one of the greatest limitations in Machine Learning: Data Scarcity. Specifically, we explore whether high accuracy classifiers can be built from small datasets, utilizing a combination of data augmentation techniques and machine learning algorithms. In this paper, we experiment with Easy Data Augmentation (EDA) and Backtranslation, as well as with three popular learning algorithms, Logistic Regression, Support Vector Machine (SVM), and Bidirectional Long Short-Term Memory Network (Bi-LSTM). For our experimentation, we utilize the Wikipedia Toxic Comments dataset so that in the process of exploring the benefits of data augmentation, we can develop a model to detect and classify toxic speech in comments to help fight back against cyberbullying and online harassment. Ultimately, we found that data augmentation techniques can be used to significantly boost the performance of classifiers and are an excellent strategy to combat lack of data in NLP problems.

研究动机与目标

• 通过在小规模标注数据集上评估数据增强技术，解决自然语言处理中的数据稀缺问题。
• 开发一种鲁棒的、低资源的毒性评论分类器，以应对网络欺凌并减轻标注者负担。
• 研究不同机器学习模型与各类数据增强策略之间的交互作用。
• 分析回译中中间语言的选择对模型泛化能力和性能的影响。
• 为增强模型中的特征重要性与错误模式提供可解释的洞察。

提出的方法

• 通过移除特殊字符、更正常态拼写并标准化文本，对维基百科毒性评论数据集进行预处理，以减少词汇量。
• 将数据集划分为训练集（5%的小样本子集）和测试集，使用完整训练集作为性能比较的基准（oracle）。
• 通过同义词替换、随机插入、删除以及使用词嵌入的同义词替换，应用易用数据增强（EDA）。
• 通过将评论翻译成四种不同语言（西班牙语、法语、印地语、德语），再译回英语，实现回译，以生成语义相似但形式多样的训练样本。
• 在基线数据和增强数据上分别训练并评估三种模型——逻辑回归、SVM和Bi-LSTM，以比较性能提升。
• 通过特征重要性分析和错误案例研究，解释模型行为，识别由上下文或一词多义导致的误分类模式。

实验结果

研究问题

• RQ1 像EDA和回译这样的数据增强技术，是否能在小样本、低资源的毒性评论分类数据集上显著提升分类器性能？
• RQ2 机器学习模型的选择（如逻辑回归与Bi-LSTM）如何影响不同数据增强策略的有效性？
• RQ3 回译中中间语言的选择是否会影响增强数据的质量与泛化能力？
• RQ4 增强数据在多大程度上提升了F1和召回率分数？哪些模型从哪种增强方法中受益最多？
• RQ5 增强模型中的主要错误来源是什么？上下文模糊性和一词多义性如何影响分类结果？

主要发现

• 将回译与EDA结合，使逻辑回归和SVM的性能提升最大，显著改善了F1和召回率分数。
• Bi-LSTM模型在仅使用回译时表现出最大改进，因为其比EDA更能保持句子级别的语义结构。
• 西班牙语和印地语作为回译的中间语言最为有效，可能因其语言多样性及口语化特征引入了有益的泛化能力。
• 回译后词汇量显著增加（使用所有语言时最高达41,167个词符），表明数据扩展和多样性得到有效提升。
• 特征重要性分析显示，'you'和'wasted'等词因与毒性词汇共现或一词多义而被误分类，凸显了上下文依赖性错误。
• 随着模型表达能力增强（如Bi-LSTM），数据增强带来的性能增益逐渐减弱，表明模型容量与增强策略需相匹配。