[论文解读] All You Need is "Love": Evading Hate-speech Detection
该论文复现了 seven state-of-the-art hate speech detectors，显示性能受数据集影响，并演示了鲁棒的对抗性攻击，这些攻击对基于词的模型的影响大于对基于字符的模型，并通过对抗性训练和预处理调整实现了部分缓解。
With the spread of social networks and their unfortunate use for hate speech, automatic detection of the latter has become a pressing problem. In this paper, we reproduce seven state-of-the-art hate speech detection models from prior work, and show that they perform well only when tested on the same type of data they were trained on. Based on these results, we argue that for successful hate speech detection, model architecture is less important than the type of data and labeling criteria. We further show that all proposed detection techniques are brittle against adversaries who can (automatically) insert typos, change word boundaries or add innocuous words to the original hate speech. A combination of these methods is also effective against Google Perspective -- a cutting-edge solution from industry. Our experiments demonstrate that adversarial training does not completely mitigate the attacks, and using character-level features makes the models systematically more attack-resistant than using word-level features.
研究动机与目标
- 评估仇恨言论检测模型在多个数据集上的迁移能力。
- 评估是模型架构还是数据标注标准驱动检测性能。
- 识别可使仇恨言论检测器规避的对抗性文本修改。
- 探索对抗性文本攻击的简单防御及其局限性。
提出的方法
- 在四个数据集上复现实 seven 个仇恨言论检测模型，来自四个先前工作。
- 通过在一个数据集上训练并在其他数据集上测试来评估跨数据集泛化性。
- 系统性实现六种对抗性文本攻击（三类，每类两种变体）。
- 测试对抗性训练和基于预处理的缓解措施（拼写检查、空格处理）。
- 比较基于词的模型与基于字符的模型在易受攻击方面的差异。
实验结果
研究问题
- RQ1仇恨言论检测器是否在不同数据集和领域上具有良好的泛化能力？
- RQ2性能是由模型架构还是数据/标注标准主导？
- RQ3简单的自动文本修改是否能规避检测器，是否有某些模型类型比其他更鲁棒？
- RQ4对抗性训练和预处理缓解措施是否能降低攻击效果？
- RQ5基于词的和基于字符的模型在对特定攻击类型的易感性方面有何不同？
主要发现
- 在相同数据集上训练和测试时，所有模型的表现相似，但跨数据集的迁移显著失败，显示出强烈的数据集依赖性。
- 基于词的模型对分词/词边界攻击的易感性高于基于字符的模型。
- 基于字符的模型并非完全可被攻击破解，对抗性训练显著提升鲁棒性，特别是对 leetspeak（leet 语）。
- 单词追加攻击可以降低基于词和基于字符的模型的性能，尽管缓解效果因方法而异。
- 在本次复现中，预训练的语言迁移（ULMFiT）未超过基线。
- Google Perspective 的 toxicity 分数可被简单的非仇恨性添加轻易抬高，凸显与仇恨言论的错配。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。