[论文解读] HeBERT & HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition

Avihay Chriqui, Inbal Yahav|arXiv (Cornell University)|Feb 3, 2021

Sentiment Analysis and Opinion Mining参考文献 55被引用 15

一句话总结

本文提出了 HeBERT，一个基于 BERT 的现代希伯来语语言模型，在标准自然语言处理任务中表现优于现有的希伯来语模型，并基于 HeBERT 构建了 HebEMO 工具，用于在希伯来语用户生成内容中进行极性检测和情感识别。HebEMO 在极性分类任务中取得 0.96 的 F1 分数，在情感检测任务中取得 0.78–0.97 的 F1 分数，表现甚至优于最先进的英文模型。

ABSTRACT

This paper introduces HeBERT and HebEMO. HeBERT is a Transformer-based model for modern Hebrew text, which relies on a BERT (Bidirectional Encoder Representations for Transformers) architecture. BERT has been shown to outperform alternative architectures in sentiment analysis, and is suggested to be particularly appropriate for MRLs. Analyzing multiple BERT specifications, we find that while model complexity correlates with high performance on language tasks that aim to understand terms in a sentence, a more-parsimonious model better captures the sentiment of entire sentence. Either way, out BERT-based language model outperforms all existing Hebrew alternatives on all common language tasks. HebEMO is a tool that uses HeBERT to detect polarity and extract emotions from Hebrew UGC. HebEMO is trained on a unique Covid-19-related UGC dataset that we collected and annotated for this study. Data collection and annotation followed an active learning procedure that aimed to maximize predictability. We show that HebEMO yields a high F1-score of 0.96 for polarity classification. Emotion detection reaches F1-scores of 0.78-0.97 for various target emotions, with the exception of surprise, which the model failed to capture (F1 = 0.41). These results are better than the best-reported performance, even among English-language models of emotion detection.

研究动机与目标

• 开发一种高性能的基于 BERT 的语言模型，专门针对现代希伯来语，以解决该语言缺乏稳健预训练模型的问题。
• 构建一个名为 HebEMO 的工具，能够检测希伯来语用户生成内容（UGC）中的情感极性和情绪，尤其适用于非正式且多样的在线来源。
• 使用主动学习方法收集并标注一个独特的、与新冠疫情相关的希伯来语 UGC 数据集，以最大化情感与情感分析任务的预测性能。
• 证明更简洁的 BERT 架构在希伯来语句子级情感理解任务中可优于复杂的变体。
• 建立一个新的希伯来语情感与情感分析的最先进基准，超越现有希伯来语与英文模型的表现。

提出的方法

• 在大规模现代希伯来语语料库上微调基于 BERT 的架构，构建 HeBERT，一种为希伯来语自然语言处理任务量身定制的上下文表示模型。
• 在通过主动学习方法收集并标注的独特希伯来语 UGC 数据集上训练 HebEMO，该数据集聚焦于新冠疫情讨论，以提升相关性与预测能力。
• 在数据标注过程中采用主动学习，优先选择不确定或信息量高的样本，以增强模型的泛化能力与性能。
• 在 HebEMO 中将 HeBERT 作为基础编码器，通过序列分类头对极性分类与多类别情感识别任务进行微调。
• 应用标准的自然语言处理评估指标，包括 F1 分数，以评估情感与情感检测任务的性能。
• 比较不同情感类别的模型表现，发现检测惊讶情绪存在困难，原因可能是标注一致性低或数据稀疏。

实验结果

研究问题

• RQ1 基于 BERT 的模型是否能在希伯来语自然语言处理任务中实现优于现有替代方案的性能，尤其是在情感理解方面？
• RQ2 在捕捉希伯来语句子级情感方面，更紧凑的 BERT 架构是否优于更大、更复杂的模型？
• RQ3 在特定领域、经主动标注的用户生成内容数据集上训练的模型，在希伯来语情感与极性检测任务中能达到多高的性能？
• RQ4 尽管希伯来语属于低资源语言，HebEMO 在情感检测方面的表现与最先进的英文模型相比如何？
• RQ5 该模型为何难以有效检测惊讶情绪？这揭示了低资源环境下数据质量或模型泛化能力的哪些问题？

主要发现

• HeBERT 在所有标准自然语言处理基准测试中均优于现有所有希伯来语语言模型，确立了希伯来语表示学习的新最先进水平。
• HebEMO 在极性分类任务中取得 0.96 的 F1 分数，表明其在希伯来语情感分析方面已接近专家水平。
• 情感检测性能因情感类型而异，F1 分数在 0.78 至 0.97 之间，表明在大多数情感类别上均表现强劲。
• 模型在检测惊讶情绪方面表现不佳，F1 分数仅为 0.41，表明该情感类别存在数据稀疏性或标注挑战。
• 尽管训练语言为低资源语言，HebEMO 的性能在多个评估设置下仍超过现有报告的最佳英文情感检测模型。
• 本研究证实，模型简洁性可增强希伯来语句子级情感理解能力，挑战了“更大模型总是表现更好”的假设。