[论文解读] Challenges for Open-domain Targeted Sentiment Analysis

Luo Yun, Hongjie Cai+4 more|arXiv (Cornell University)|Apr 14, 2022

Topic Modeling被引用 5

一句话总结

本文提出了一项新的开放域目标情感分析数据集，包含跨六个不同领域的6,013篇人工标注文档，突破了传统句级分析的局限，采用嵌套目标标注模式实现文档级情感抽取。该研究采用基于BART的序列到序列模型进行端到端生成，揭示了在处理长文档、复杂目标结构及领域差异方面面临的显著挑战，尽管使用了最先进预训练模型，基准结果仍显示存在巨大改进空间。

ABSTRACT

Since previous studies on open-domain targeted sentiment analysis are limited in dataset domain variety and sentence level, we propose a novel dataset consisting of 6,013 human-labeled data to extend the data domains in topics of interest and document level. Furthermore, we offer a nested target annotation schema to extract the complete sentiment information in documents, boosting the practicality and effectiveness of open-domain targeted sentiment analysis. Moreover, we leverage the pre-trained model BART in a sequence-to-sequence generation method for the task. Benchmark results show that there exists large room for improvement of open-domain targeted sentiment analysis. Meanwhile, experiments have shown that challenges remain in the effective use of open-domain data, long documents, the complexity of target structure, and domain variances.

研究动机与目标

• 为解决现有开放域目标情感分析数据集的局限性，这些数据集通常局限于句级分析，且领域狭窄（如餐厅、笔记本电脑和推文评论）。
• 将目标情感分析的范围扩展至文档级输入，捕捉句间指代关系和话语层面的关联，这些在句级处理中容易被忽略。
• 通过引入嵌套目标标注模式提升实用性，以捕捉复杂、分层的情感结构，例如‘意大利餐厅’与‘价格’之间的关系。
• 评估预训练序列到序列模型（如BART）在真实、多样化且长文本条件下的端到端开放域目标情感分析有效性。
• 识别开放域情感分析中的持续性挑战，包括领域差异、长文档复杂性以及目标结构的模糊性。

提出的方法

• 提出一项新数据集，包含6,013篇人工标注文档，覆盖六个领域：书籍、服装、餐厅、酒店、新闻和PhraseBank，各领域具有多样的语言体裁和文档长度。
• 引入一种嵌套目标标注模式，不仅捕捉情感承载片段，还捕捉目标之间的层级与关系结构，例如‘意大利餐厅’对‘价格’和‘食物’的影响。
• 将开放域目标情感分析建模为序列到序列生成任务，采用预训练的BART模型，输入为文档，输出为（目标，情感）对的结构化列表。
• 采用流水线与联合建模两种方法：流水线方法将目标抽取与情感分类分离处理，而联合模型则在单一步骤中端到端完成两项任务。
• 使用微F1和Kappa系数评估标注者间一致性，确保在目标密度差异较大的各领域中均保持高质量标注。
• 开展消融研究与案例分析，比较不同领域中平均目标数量与结构复杂度差异下的模型性能。

实验结果

研究问题

• RQ1 开放域目标情感分析模型在超越传统句级数据集的多样化真实文档领域中的表现如何？
• RQ2 与传统的基于跨度的标注方式相比，嵌套目标标注模式在捕捉复杂、分层情感关系方面有多大提升？
• RQ3 在处理长文档和高目标密度时，流水线与联合建模方法在性能与鲁棒性方面有何差异？
• RQ4 将预训练序列到序列模型应用于开放域目标情感分析时，其主要挑战是什么，特别是在指代消解与情感聚合方面？
• RQ5 特定领域差异与文档长度如何影响开放域设置下情感分析模型的泛化能力与可靠性？

主要发现

• 所提出的数据集涵盖六个多样化领域，目标密度各异，从PhraseBank的每篇1.23个目标到餐厅的5.03个目标不等，真实反映了文档的复杂性。
• 在平均目标数较少的领域（如书籍，每篇2.50个目标），联合模型优于流水线模型；但在高目标数领域（如餐厅，每篇5.03个目标），流水线模型表现更优。
• 基准结果表明性能差距显著，即使使用最先进预训练模型，开放域目标情感分析仍具挑战性，存在巨大改进空间。
• 案例研究显示，模型在回指消解方面表现不佳（如未能将‘they’或‘it’正确关联至其指代对象），且在高目标密度下容易遗漏复杂的关系性情感结构。
• 研究证实，有效利用开放域数据、处理长文档、管理复杂目标结构以及在领域差异间泛化等挑战依然存在。
• 标注者间一致性较高（多数领域F1 > 70%），验证了人工标注数据集的质量与一致性。