[论文解读] A Failure of Aspect Sentiment Classifiers and an Adaptive Re-weighting Solution

Hu Xu, Bing Liu+2 more|arXiv (Cornell University)|Nov 4, 2019

Sentiment Analysis and Opinion Mining参考文献 48被引用 7

一句话总结

本文揭示了方面情感分类器中的一个关键缺陷：由于缺乏对对比句（即针对不同方面具有相反情感的句子）的充分监督，这些分类器往往退化为句子级情感分类器。为解决此问题，作者提出了自适应重加权（ARW），一种动态训练方案，可自动提升误分类对比样本的损失权重，显著改善这些具有挑战性的样本的性能，同时保持整体准确率的高水平。

ABSTRACT

Aspect-based sentiment classification (ASC) is an important task in fine-grained sentiment analysis.~Deep supervised ASC approaches typically model this task as a pair-wise classification task that takes an aspect and a sentence containing the aspect and outputs the polarity of the aspect in that sentence. However, we discovered that many existing approaches fail to learn an effective ASC classifier but more like a sentence-level sentiment classifier because they have difficulty to handle sentences with different polarities for different aspects.~This paper first demonstrates this problem using several state-of-the-art ASC models. It then proposes a novel and general adaptive re-weighting (ARW) scheme to adjust the training to dramatically improve ASC for such complex sentences. Experimental results show that the proposed framework is effective \footnote{The dataset and code are available at \url{https://github.com/howardhsu/ASC_failure}.}.

研究动机与目标

• 探究当前最先进方面情感分类器（ASC）为何在具有多个方面且情感相互冲突的句子上失效。
• 证明其根本原因在于训练数据中对比句的稀缺性，导致模型依赖句子级情感作为捷径。
• 开发一种通用且自适应的重加权策略，以在不进行人工数据平衡的情况下，提升对罕见但关键的对比样本的学习效果。
• 证明所提出的方法在提升对比句分类性能的同时，不损害整体ASC准确率。

提出的方法

• 作者提出自适应重加权（ARW），一种动态损失重加权方案，可在训练过程中提升误分类对比句样本的损失权重。
• ARW基于模型置信度和预测误差计算样本权重，将训练重点聚焦于常被忽略的困难对比实例。
• 该方法按训练周期实施重加权，调整损失贡献，优先关注包含多个方面且极性冲突的句子中的样本。
• 该方法与模型无关，可无缝集成到任何基于深度学习的ASC框架中，无需修改网络结构。
• 重加权机制受AdaBoost启发，但针对单模型深度学习进行了适配，通过迭代修正对比样本的错误来提升性能。
• 该方法在SemEval 2014数据集（笔记本和餐厅）上进行了评估，消融实验验证了其有效性。

实验结果

研究问题

• RQ1 为何现有的基于深度学习的方面情感分类器无法正确分类具有多个方面且情感相互冲突的句子？
• RQ2 训练数据中对比句的稀缺性在多大程度上导致ASC模型退化为句子级情感分类器？
• RQ3 自适应重加权策略能否提升对罕见但关键的对比句的学习效果？
• RQ4 所提出的ARW方法是否能在不损害整体准确率的前提下，同时提升对比句和完整测试集上的性能？

主要发现

• 研究发现，现有ASC模型在对比句（即不同方面具有相反情感的句子）上常出现失败，原因是缺乏足够的训练样本。
• 在标准数据集（如SemEval 2014）中，对比句极为稀少，导致模型依赖句子级情感作为捷径，从而削弱了细粒度分类能力。
• 所提出的自适应重加权（ARW）方法显著提升了对比句的分类准确率，证明了其在处理罕见且困难样本方面的有效性。
• ARW在保持或甚至提升完整测试集性能方面表现良好，表明聚焦于对比句不会损害模型的泛化能力。
• 消融实验确认，动态重加权机制至关重要，静态或人工加权方案的效果更差。
• 该方法在不同ASC架构上均表现出通用性和有效性，表明其适用范围广泛，不仅限于特定模型。