[论文解读] Exploring Conditional Text Generation for Aspect-Based Sentiment Analysis

Siva Uday Sampreeth Chebolu, Franck Dernoncourt+2 more|arXiv (Cornell University)|Oct 5, 2021

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本文提出了一种新颖的条件文本生成框架用于方面级情感分析（ABSA），将该任务转化为基于目标、方面和极性条件生成辅助语句。通过在基准数据集上微调T5和BART模型，该方法取得了新的 SOTA 结果，尤其在隐式目标检测方面表现显著提升，并消除了先前序列标注和句子对分类方法固有的目标冲突问题。

ABSTRACT

Aspect-based sentiment analysis (ABSA) is an NLP task that entails processing user-generated reviews to determine (i) the target being evaluated, (ii) the aspect category to which it belongs, and (iii) the sentiment expressed towards the target and aspect pair. In this article, we propose transforming ABSA into an abstract summary-like conditional text generation task that uses targets, aspects, and polarities to generate auxiliary statements. To demonstrate the efficacy of our task formulation and a proposed system, we fine-tune a pre-trained model for conditional text generation tasks to get new state-of-the-art results on a few restaurant domains and urban neighborhoods domain benchmark datasets.

研究动机与目标

• 解决现有ABSA方法在情感三元组抽取中难以处理隐式目标和目标冲突的问题。
• 将ABSA重新表述为条件文本生成任务，以在单一序列到序列框架下统一多个子任务（目标检测、方面分类、极性预测）。
• 利用T5和BART等预训练模型生成表达性强、上下文感知的辅助语句，以编码方面-情感关系。
• 证明联合生成优于任务特定微调，并在多种ABSA子任务上提升整体性能。
• 验证性能提升源于生成式建模范式，而非单纯模型规模或预训练数据量的增加。

提出的方法

• 将ABSA重新表述为条件文本生成任务，即模型在给定输入上下文、目标、方面类别和情感极性的条件下生成自然语言语句。
• 使用伪短语和伪句子构建训练数据，以编码（目标，方面，情感）三元组，从而实现意见语句的端到端生成。
• 在四个公开的ABSA基准数据集上微调T5和BART模型，涵盖餐厅和城市社区等领域，采用序列到序列的目标函数。
• 采用多任务学习框架，通过条件生成联合优化目标检测、方面分类和情感预测。
• 对基线方法使用CRF或Softmax解码对token级表示的结果，而所提方法则完全依赖自回归生成。
• 评估T5-encoder变体，以分离生成式架构对性能的贡献，而非模型规模或预训练数据量的影响。

实验结果

研究问题

• RQ1 方面级情感分析能否被有效重新表述为条件文本生成任务，以提升目标、方面和情感的联合抽取？
• RQ2 所提出的生成式框架在多个ABSA子任务的F1分数上是否优于现有的序列标注和句子对分类方法？
• RQ3 与先前方法相比，条件生成方法在隐式目标检测方面的增强程度如何？
• RQ4 性能提升是源于生成式建模方法本身，还是仅仅由于使用了更大的预训练模型？
• RQ5 联合生成框架如何处理句子对分类方法中出现的目标冲突问题？

主要发现

• 所提出的条件文本生成框架在四个公开的ABSA基准数据集上取得了新的SOTA结果，包括来自餐厅和城市社区领域的数据集。
• 该方法在隐式目标检测方面表现显著提升，而此前的基于分类的方法常会遗漏此类目标。
• 通过条件生成进行的联合训练优于对各子任务分别微调，证明了在此范式下多任务建模的优势。
• T5-encoder变体在比BERT更大的语料上进行预训练，取得了更优结果，证实性能提升源于生成式架构，而非仅预训练数据量的增加。
• 该框架成功解决了Wan et al. (2020) 所提句子对分类方法中存在的目标冲突问题，即冗余或冲突观点被丢弃的问题。
• 消融实验表明，与传统序列标注或分类方法相比，生成式方法在ABSA任务中更具表达力和有效性。