[论文解读] A Fine-Grained Sentiment Dataset for Norwegian

Lilja Øvrelid, Petter Mæhlum+2 more|arXiv (Cornell University)|Nov 28, 2019

Sentiment Analysis and Opinion Mining参考文献 37被引用 24

一句话总结

本文介绍了 NoReC${}_{\text{fine}}$，这是首个针对挪威语的细粒度情感分析数据集，涵盖不同评论领域中极性表达、目标、持有者及情感强度的标注。该研究提出了标注指南、标注者间一致性统计指标，并训练了基线神经网络模型，其在持有者识别任务上达到42.4 F1（比例定义），在极性表达识别任务上达到61.5 F1（二值定义），为挪威语情感分析建立了基准。

ABSTRACT

We introduce NoReC_fine, a dataset for fine-grained sentiment analysis in Norwegian, annotated with respect to polar expressions, targets and holders of opinion. The underlying texts are taken from a corpus of professionally authored reviews from multiple news-sources and across a wide variety of domains, including literature, games, music, products, movies and more. We here present a detailed description of this annotation effort. We provide an overview of the developed annotation guidelines, illustrated with examples, and present an analysis of inter-annotator agreement. We also report the first experimental results on the dataset, intended as a preliminary benchmark for further experiments.

研究动机与目标

• 创建首个针对挪威语的细粒度情感分析数据集，以弥补斯堪的纳维亚语言在低资源自然语言处理方面的资源不足。
• 为专业评论中的极性表达、目标、持有者及情感强度制定详细的标注指南。
• 通过神经序列标注模型，在挪威语中建立细粒度情感分析的基准。
• 评估模型在不同领域中的性能表现，以反映现实世界中数据分布的变化。
• 通过公开发布数据集和标注指南，为未来多语言及跨领域情感分析研究提供支持。

提出的方法

• 标注者在来自挪威评论语料库（NoReC）的300篇专业挪威语评论中，对极性表达、目标、持有者及情感强度（弱/平均/强）进行标注。
• 标注方案涵盖主观表达以及隐含事实的非个人评价，对第一人称持有者和主题相关目标设有特殊标签。
• 通过比例重叠和二值重叠两种度量方式评估标注者间一致性，结果显示各类标注类型均达到中等至较高的一致性。
• 基线神经模型采用BiLSTM-CRF架构，使用100维的fastText词嵌入，并在NoReC${}_{\text{fine}}$数据集上进行微调。
• 模型训练采用Adam优化器，Dropout率设置为0.5（BiLSTM层）和0.3（CRF层），并采用早停策略，耐心值为5个周期。
• 评估采用标准的训练/开发/测试集划分，F1分数基于比例重叠和二值重叠两种定义计算。

实验结果

研究问题

• RQ1 神经序列标注模型在不同领域中识别挪威语文本中的极性表达、目标和持有者的效果如何？
• RQ2 在标注挪威语专业评论中的细粒度情感成分时，标注者间的一致性能达到何种水平？
• RQ3 当训练集与测试集之间存在领域差异时，模型在NoReC${}_{\text{fine}}$数据集上的性能如何受到影响？
• RQ4 事实隐含的非个人表达在挪威语评论的情感分析中贡献程度如何？
• RQ5 在训练与测试数据存在分布差异的情况下，单一模型能否在多个领域中实现良好泛化？

主要发现

• NoReC${}_{\text{fine}}$ 数据集包含来自10多个领域的300篇专业挪威语评论，共约8,000个句子，其中约一半为评价性内容。
• 标注者间一致性达到中等至较高水平，持有者标注的F1分数为42.4（比例定义）和43.5（二值定义），目标标注的F1分数为31.3（比例定义）和39.1（二值定义），极性表达标注的F1分数为31.3（比例定义）和61.5（二值定义）。
• 基线BiLSTM-CRF模型在持有者识别任务上达到42.4 F1（比例定义），表明在跨领域泛化方面仍有提升空间。
• 模型在极性表达识别任务上表现最佳（61.5 F1二值定义），表明在此设置下，表达检测比持有者或目标检测更具鲁棒性。
• 训练与测试数据之间的领域差异导致性能下降，尤其对持有者（56%重叠）和目标（28%重叠）影响显著，凸显了模型泛化中的现实挑战。
• 该数据集同时包含主观意见和隐含事实的非个人评价，表明客观陈述也可承载情感信息，这对构建鲁棒的情感分析系统至关重要。