[论文解读] Generative Aspect-Based Sentiment Analysis with Contrastive Learning and Expressive Structure

Joseph J. Peper, Lu Wang|arXiv (Cornell University)|Nov 14, 2022

Sentiment Analysis and Opinion Mining被引用 5

一句话总结

本文提出 GEN-SCL-NAT，一种用于生成式方面感知情感分析（ABSA）的新方法，通过结合监督对比学习目标（GEN-SCL）与自然、结构化的生成格式（GEN-NAT），提升了 ACOS 四元组抽取性能。GEN-SCL 通过增强情感极性、方面类型和观点类型（尤其是隐式类型）的模型表征，提升表示能力；GEN-NAT 通过人类可读的类别描述、基于扫描的排序方式以及因果四元组格式，改善自回归解码过程。该方法实现了最先进性能，在 LAPTOP-L1 上 F1 提升 1.73%，在三个数据集上的平均 F1 提升达 1.48%，尤其在隐式情感样本上表现显著。

ABSTRACT

Generative models have demonstrated impressive results on Aspect-based Sentiment Analysis (ABSA) tasks, particularly for the emerging task of extracting Aspect-Category-Opinion-Sentiment (ACOS) quadruples. However, these models struggle with implicit sentiment expressions, which are commonly observed in opinionated content such as online reviews. In this work, we introduce GEN-SCL-NAT, which consists of two techniques for improved structured generation for ACOS quadruple extraction. First, we propose GEN-SCL, a supervised contrastive learning objective that aids quadruple prediction by encouraging the model to produce input representations that are discriminable across key input attributes, such as sentiment polarity and the existence of implicit opinions and aspects. Second, we introduce GEN-NAT, a new structured generation format that better adapts autoregressive encoder-decoder models to extract quadruples in a generative fashion. Experimental results show that GEN-SCL-NAT achieves top performance across three ACOS datasets, averaging 1.48% F1 improvement, with a maximum 1.73% increase on the LAPTOP-L1 dataset. Additionally, we see significant gains on implicit aspect and opinion splits that have been shown as challenging for existing ACOS approaches.

研究动机与目标

• 为解决现有生成式模型在方面感知情感分析（ABSA）中对隐式情感表达仍难以处理的挑战。
• 通过使模型输出格式与编码器-解码器模型的自回归解码过程对齐，提升 ACOS 四元组抽取中的结构化生成能力。
• 增强对 ACOS 关键特征——情感极性、方面类型与观点类型——的模型表征，尤其针对隐式情况。
• 设计更自然、可解释的输出格式，以提升多四元组场景下的生成质量与一致性。

提出的方法

• 提出 GEN-SCL，一种监督对比学习目标，用于训练模型为情感极性、方面项类型与观点项类型三种关键输入特征生成判别性表征。
• 通过全连接层将平均池化的编码器最终隐藏状态分别投影为 1024 维表征，对每类特征应用对比损失，以最大化同标签样本间的相似性，最小化异标签样本间的相似性。
• 提出 GEN-NAT，一种新型结构化生成格式，将抽象类别标签替换为人类可读的描述，强制对多个四元组进行基于扫描的排序，并重新排列每个四元组内部的组件，以反映自然的因果流程。
• 将 GEN-SCL 与 GEN-NAT 统一为联合训练目标，微调基于 T5 的模型，实现端到端的 ACOS 四元组生成。
• 采用温度缩放的对比损失公式优化表征学习，损失函数在小批量内正样本对与负样本对上定义。
• 使用 t-SNE 可视化展示 GEN-SCL 在隐藏空间中使三种关键特征的表征更具可分性与判别性。

实验结果

研究问题

• RQ1 监督对比学习目标能否提升对情感极性、方面类型与观点类型等关键 ACOS 特征的表征学习能力？
• RQ2 将生成目标格式重构为更自然、更结构化的形式，是否能提升自回归模型在 ACOS 四元组抽取中的性能？
• RQ3 GEN-NAT 的各组成部分——自然类别描述、基于扫描的排序、四元组内因果排序——对性能提升的贡献程度如何？
• RQ4 该方法在隐式情感表达上的有效性如何？此类表达被公认对现有 ABSA 模型构成挑战。
• RQ5 GEN-SCL 与 GEN-NAT 组件是否具有协同效应，还是各自独立贡献性能增益？

主要发现

• GEN-SCL-NAT 在 LAPTOP-L1 数据集上实现 1.73% 的 F1 提升，为三组评估数据集中最高增益。
• 与先前最先进方法相比，该方法在 REST、LAPTOP 和 LAPTOP-L1 数据集上的平均 F1 提升达 1.48%。
• 在隐式方面与观点子集上观察到 1.47% 的平均 F1 提升，表明其在高难度样本上的有效性。
• 消融实验表明，与观点相关的 SCL 损失影响最大，移除后平均 F1 下降 1.03%；其次为方面与情感 SCL 组件。
• GEN-NAT 的基于扫描的多四元组排序具有最大独立影响，尤其在 REST 数据集上（F1 从 62.62 降至 59.92），该数据集每例平均四元组数更高。
• 完整 GEN-SCL-NAT 模型中，GEN-NAT 与 GEN-SCL 展现出互补行为，两者协同作用显著提升整体性能。