[论文解读] Hope Speech detection in under-resourced Kannada language

Adeep Hande, Ruba Priyadharshini+4 more|arXiv (Cornell University)|Aug 10, 2021

Hate Speech and Cyberbullying Detection被引用 13

一句话总结

本文提出了 KanHope，一个包含 6,176 条来自 YouTube 的卡纳达语-英语混合评论的多语言数据集，这些评论经过人工标注，用于识别希望言论（支持性、积极内容）。本文提出了 DC-BERT4HOPE 模型，一种利用英文翻译的双通道 BERT 模型，以提升检测性能，在低资源卡纳达语中识别积极鼓励的在线内容方面，取得了加权 F1 分数 0.756 的成绩——优于基线模型。

ABSTRACT

Numerous methods have been developed to monitor the spread of negativity in modern years by eliminating vulgar, offensive, and fierce comments from social media platforms. However, there are relatively lesser amounts of study that converges on embracing positivity, reinforcing supportive and reassuring content in online forums. Consequently, we propose creating an English-Kannada Hope speech dataset, KanHope and comparing several experiments to benchmark the dataset. The dataset consists of 6,176 user-generated comments in code mixed Kannada scraped from YouTube and manually annotated as bearing hope speech or Not-hope speech. In addition, we introduce DC-BERT4HOPE, a dual-channel model that uses the English translation of KanHope for additional training to promote hope speech detection. The approach achieves a weighted F1-score of 0.756, bettering other models. Henceforth, KanHope aims to instigate research in Kannada while broadly promoting researchers to take a pragmatic approach towards online content that encourages, positive, and supportive.

研究动机与目标

• 为解决在卡纳达语等低资源语言中检测积极支持性内容（希望言论）的研究不足问题。
• 创建一个高质量、人工标注的卡纳达语用户生成评论数据集，用于希望言论检测。
• 开发一种利用英文翻译来提升低资源环境下性能的多语言深度学习模型。
• 在新构建的 KanHope 数据集上对最先进模型进行基准测试，并为低资源 NLP 领域中积极内容的研究奠定基础。

提出的方法

• 通过从 YouTube 抓取 6,176 条卡纳达语混合评论，构建 KanHope 数据集，并将评论人工标注为“希望言论”或“非希望言论”类别。
• 设计了一种基于双通道 BERT 的模型 DC-BERT4HOPE，以同时处理原始卡纳达语文本及其英文翻译。
• 该模型使用交叉注意力机制，整合来自两种语言通道的表征，增强对表征希望情绪表达的上下文理解。
• 在 KanHope 数据集上通过多任务学习目标进行微调，以提升泛化能力和鲁棒性。
• 使用标准 NLP 指标（包括加权 F1 分数、精确率和召回率）对模型进行训练和评估。
• 通过翻译进行数据增强，以提升模型在低资源环境下的泛化能力。

实验结果

研究问题

• RQ1 仅使用有限标注数据，多语言微调的 BERT 模型能否有效检测低资源卡纳达语文本中的希望言论？
• RQ2 与单语模型相比，利用卡纳达语评论的英文翻译在希望言论检测性能上有多大提升？
• RQ3 DC-BERT4HOPE 模型在 KanHope 数据集上的 F1 分数及其他评估指标表现如何，相较于基线模型？
• RQ4 通过翻译进行数据增强在多大程度上提升了模型在低资源环境下的鲁棒性和泛化能力？
• RQ5 与现有数据集相比，该研究提出的数据集在希望言论检测方面的语言多样性和标注质量如何？

主要发现

• DC-BERT4HOPE 模型在 KanHope 数据集上取得了 0.756 的加权 F1 分数，优于所有基线模型。
• 在双通道架构中使用英文翻译显著提升了模型性能，证明了多语言预训练在低资源语言中的价值。
• KanHope 数据集包含 6,176 条人工标注的评论，为未来在低资源语言中研究希望言论检测提供了宝贵基准。
• 模型性能表明，利用多语言信号可有效缓解低资源 NLP 任务中的数据稀缺问题。
• 本研究确立了 KanHope 作为未来在印度语言中研究积极情感与支持性内容检测的基础数据集。
• 结果表明，多语言迁移学习是提升低资源环境（如卡纳达语）下 NLP 模型性能的可行策略。