[论文解读] A Multi-task Learning Model for Chinese-oriented Aspect Polarity Classification and Aspect Term Extraction

Heng Yang, Biqing Zeng+3 more|arXiv (Cornell University)|Dec 17, 2019

Sentiment Analysis and Opinion Mining参考文献 35被引用 14

一句话总结

该论文提出 LCF-ATEPC，一种多任务学习模型，通过领域自适应 BERT 和局部上下文聚焦（LCF）机制，联合执行中文和英文文本的方面词项抽取（ATE）与方面情感极性分类（APC）。该模型在七个 ABSA 数据集上达到最先进性能，包括四个中文和三个英文基准，展现出强大的多语言与领域自适应能力。

ABSTRACT

Aspect-based sentiment analysis (ABSA) task is a multi-grained task of natural language processing and consists of two subtasks: aspect term extraction (ATE) and aspect polarity classification (APC). Most of the existing work focuses on the subtask of aspect term polarity inferring and ignores the significance of aspect term extraction. Besides, the existing researches do not pay attention to the research of the Chinese-oriented ABSA task. Based on the local context focus (LCF) mechanism, this paper firstly proposes a multi-task learning model for Chinese-oriented aspect-based sentiment analysis, namely LCF-ATEPC. Compared with existing models, this model equips the capability of extracting aspect term and inferring aspect term polarity synchronously, moreover, this model is effective to analyze both Chinese and English comments simultaneously and the experiment on a multilingual mixed dataset proved its availability. By integrating the domain-adapted BERT model, the LCF-ATEPC model achieved the state-of-the-art performance of aspect term extraction and aspect polarity classification in four Chinese review datasets. Besides, the experimental results on the most commonly used SemEval-2014 task4 Restaurant and Laptop datasets outperform the state-of-the-art performance on the ATE and APC subtask.

研究动机与目标

• 解决方面基于情感分析（ABSA）中缺乏能联合执行方面词项抽取（ATE）与方面情感极性分类（APC）的集成方法的问题。
• 开发一种专为中文导向 ABSA 优化的模型，该领域目前受到的研究关注不足。
• 通过在单一统一框架内支持中文和英文评论，实现有效的多语言处理。
• 通过领域自适应 BERT 微调，提升在低资源、领域特定 ABSA 数据集上的性能。
• 在多样化的现实世界数据集上，于 ATE 和 APC 子任务上均实现最先进结果。

提出的方法

• 提出一种多任务学习框架，通过共享的基于 Transformer 的编码器，联合训练方面词项抽取（ATE）与方面情感极性分类（APC）。
• 集成局部上下文聚焦（LCF）机制，通过聚焦方面词项周围的局部句法与语义上下文，增强对方面相关标记的关注。
• 利用在领域特定语料库（如 Yelp 和 Amazon laptops）上微调的领域自适应 BERT 模型，提升在低资源、领域特定 ABSA 数据集上的性能。
• 在 BERT 编码器中应用多头自注意力（MHSA），以捕捉长距离依赖关系与上下文表征。
• 实施一种动态阈值策略（SRD），以控制 LCF 机制中的注意力聚焦范围，优化不同数据集上的性能表现。
• 在小规模标注数据集上端到端训练模型，利用迁移学习在有限标注数据下实现高性能。

实验结果

研究问题

• RQ1 统一的多任务学习模型能否在中文和英文文本中同时有效执行方面词项抽取与方面情感极性分类？
• RQ2 局部上下文聚焦（LCF）机制的集成如何提升方面基于情感分析任务的性能？
• RQ3 领域自适应 BERT 在多大程度上提升了模型在低资源、领域特定 ABSA 数据集上的性能？
• RQ4 模型性能对超参数（如 LCF 机制中 SRD 阈值）的敏感度如何，尤其是在不同语言与领域之间？
• RQ5 所提出的 LCF-ATEPC 模型是否在多个基准数据集上均于 ATE 和 APC 任务上达到最先进性能？

主要发现

• LCF-ATEPC 模型在四个中文评论数据集上达到最先进性能，其中在 Phone 数据集上 ATE 的 F1 得分为 85.24，APC 的 F1 得分为 81.76。
• 在 SemEval-2014 Restaurant 数据集上，模型在 APC 任务中达到 90.01% 的准确率，首次有模型在该基准上突破 90%。
• LCF-ATEPC-CDM 变体在使用领域自适应 BERT 和 SRD 阈值 3–6 时，于 Restaurant 数据集上取得最高的 APC F1 得分 89.99。
• 该模型展现出强大的多语言泛化能力，在英文（Laptop 和 Restaurant）与中文（Phone）数据集上均优于基础 BERT 模型。
• ATE 任务对 SRD 阈值变化的敏感度较低，而 APC 性能在特定阈值处表现出明显峰值，表明情感极性分类更受益于受控的注意力聚焦。
• 领域自适应 BERT 显著提升了所有数据集上的性能，尤其在 Restaurant 和 Laptop 数据集上效果突出，证实其在低资源、领域特定场景下的有效性。