[论文解读] Cross-lingual Zero- and Few-shot Hate Speech Detection Utilising Frozen Transformer Language Models and AXEL

Lukas Stappen, Fabian Brunn+1 more|arXiv (Cornell University)|Apr 13, 2020

Hate Speech and Cyberbullying Detection参考文献 49被引用 52

一句话总结

论文提出了一种冻结Transformer特征提取方法，结合新颖的AXEL基于注意的分类块，解决 HatEval 英语和西班牙语数据的单语、跨语零-shot/小样本仇恨言论检测，在训练参数显著更少的情况下实现具有竞争力的结果。

ABSTRACT

Detecting hate speech, especially in low-resource languages, is a non-trivial challenge. To tackle this, we developed a tailored architecture based on frozen, pre-trained Transformers to examine cross-lingual zero-shot and few-shot learning, in addition to uni-lingual learning, on the HatEval challenge data set. With our novel attention-based classification block AXEL, we demonstrate highly competitive results on the English and Spanish subsets. We also re-sample the English subset, enabling additional, meaningful comparisons in the future.

研究动机与目标

• 在低资源语言中，利用冻结的Transformer特征推动跨语言仇恨言论检测。
• 在英语和西班牙语 HatEval 数据上评估单语与跨语（零-shot/小样本）学习。
• 开发并评估一个轻量级分类块（AXEL），以最大化冻结Transformer特征的信息。
• 提出一个分层的英语数据分区，以减轻域外采样影响并更好地评估泛化。

提出的方法

• 使用冻结的Transformer语言模型（BERT多语言基础版和XLM）作为特征提取器，而非微调。
• 从选定层提取表征，并输入到可训练的分类块。
• 引入AXEL，一种受视觉模块启发的基于注意力的块，用于在分类前压缩和增强序列文本特征。
• 比较多种分类块（包括RCAB、CBAM、CSAR、RAM），并展示AXEL的优越性能。
• 通过在一种语言上训练并在另一种语言上测试来评估零-shot和小样本跨语言迁移，并通过注入少量目标语言数据进行评估。

实验结果

研究问题

• RQ1 相较于微调模型，冻结的Transformer特征在单语仇恨言论检测中的效用有多大？
• RQ2 在使用冻结Transformer表征进行仇恨言论检测时，AXEL能否提升分类性能？
• RQ3 跨语言零-shot和小样本学习对英语和西班牙语HatEval数据的影响是什么？
• RQ4 分层的英语数据划分是否能减少域外采样效应并提升泛化？
• RQ5 基于XLM的跨语言表征与基于BERT的特征在跨语言仇恨言论检测中的比较如何？

主要发现

• 使用AXEL的冻结Transformer特征在训练参数显著更少的情况下实现具有竞争力的仇恨言论检测结果。
• AXEL显著优于其他改编块，EN-S在表4结果中F1为71.16，ES为69.70。
• 跨语言零-shot的表现通常弱于单语，但在大多数设置中AXEL仍然是基于XLM的选项中最好的一种；通过翻译增强评估，零-shot也可提升。
• 小样本学习展现显著提升；仅添加目标语言数据的1%就能显著提升F1，在某些设置（如EN-S）甚至超过单语表现。
• 一种新的英语数据分区（EN-S）减少域外采样效应，并在EN与ES子集之间产生更平衡、可比的性能。
• 在零-shot设置中，使用简单的密集/AXEL分类器的XLM型模型表现强劲，而基于BERT的序列编码器则更能从全序列编码中获益。