[论文解读] Hate-Alert@DravidianLangTech-EACL2021: Ensembling strategies for Transformer-based Offensive language Detection.

Debjoy Saha, Naman Paharia+3 more|arXiv (Cornell University)|Apr 1, 2021

Hate Speech and Cyberbullying Detection参考文献 32被引用 4

一句话总结

该论文提出了一种基于遗传算法优化模型组合的微调Transformer模型集成方法，用于低资源德拉威语（Tamil、Kannada、Malayalam）中的攻击性语言检测。该方法在EACL 2021共享任务中取得最先进性能，在泰米尔语和马拉雅拉姆语中获得第一名，在卡纳达语中获得第二名。

ABSTRACT

Social media often acts as breeding grounds for different forms of offensive content. For low resource languages like Tamil, the situation is more complex due to the poor performance of multilingual or language-specific models and lack of proper benchmark datasets. Based on this shared task “Offensive Language Identification in Dravidian Languages” at EACL 2021; we present an exhaustive exploration of different transformer models, We also provide a genetic algorithm technique for ensembling different models. Our ensembled models trained separately for each language secured the first position in Tamil, the second position in Kannada, and the first position in Malayalam sub-tasks. The models and codes are provided.

研究动机与目标

• 为解决现有多语言或特定语言模型在低资源德拉威语中表现不佳的问题，应对攻击性语言检测挑战。
• 为泰米尔语、卡纳达语和马拉雅拉姆语开发一种稳健的、语言特定的攻击性语言识别方法。
• 探索有效的集成策略，以提升在低资源语言数据集上的性能。
• 提出一种基于遗传算法的模型集成权重优化方法，适用于多种Transformer架构。

提出的方法

• 在泰米尔语、卡纳达语和马拉雅拉姆语的语言特定攻击性语言数据集上，对多个预训练Transformer模型（如mBERT、XLM-R）进行微调。
• 应用遗传算法搜索多个独立模型之间的最优集成权重，将模型性能作为适应度函数。
• 在训练过程中使用早停法和权重衰减学习率调度，以提升收敛性和泛化能力。
• 为每种语言单独训练模型，以保留语言特异性并避免领域偏移。
• 在遗传算法中使用验证集F1分数作为适应度函数，优化集成模型。
• 在测试集上评估最终集成模型，以确定其在三种德拉威语中的整体性能。

实验结果

研究问题

• RQ1 微调后的Transformer模型能否在泰米尔语、卡纳达语和马拉雅拉姆语等低资源德拉威语中实现强大的攻击性语言检测性能？
• RQ2 遗传算法在低资源环境下优化攻击性语言检测模型集成方面是否有效？
• RQ3 在该低资源背景下，语言特定微调是否优于多语言模型？
• RQ4 不同集成策略对共享任务中F1分数性能有何影响？
• RQ5 结合多种模型与自动权重优化的混合方法是否优于单一模型？

主要发现

• 集成模型在泰米尔语子任务中取得了最高F1分数，荣获共享任务第一名。
• 在卡纳达语子任务中获得第二名，表明其在德拉威语族中的强大泛化能力。
• 在马拉雅拉姆语子任务中获得第一名，表明该方法对这一低资源语言具有高度有效性。
• 基于遗传算法的集成策略显著优于单一模型和标准平均方法。
• 语言特定微调的效果优于仅依赖多语言模型（如mBERT或XLM-R）的方法。
• 所提出方法在三种具有有限标注数据的德拉威语中表现出稳健性和可扩展性。