[论文解读] A Variational Approach to Weakly Supervised Document-Level Multi-Aspect Sentiment Classification

Ziqian Zeng, Wenxuan Zhou+2 more|arXiv (Cornell University)|Apr 10, 2019

Sentiment Analysis and Opinion Mining参考文献 42被引用 4

一句话总结

本文提出一种变分方法，用于弱监督文档级多方面情感分类（DMSC），利用通过依存句法分析和简单规则提取的目标-观点词对作为监督信号。通过将情感极性建模为隐变量并优化变分下界，该方法联合训练情感极性分类器与观点词预测器，在仅使用每方面数百个标注样本的情况下，性能可与监督方法相媲美，且无需方面级标注。

ABSTRACT

In this paper, we propose a variational approach to weakly supervised document-level multi-aspect sentiment classification. Instead of using user-generated ratings or annotations provided by domain experts, we use target-opinion word pairs as "supervision." These word pairs can be extracted by using dependency parsers and simple rules. Our objective is to predict an opinion word given a target word while our ultimate goal is to learn a sentiment polarity classifier to predict the sentiment polarity of each aspect given a document. By introducing a latent variable, i.e., the sentiment polarity, to the objective function, we can inject the sentiment polarity classifier to the objective via the variational lower bound. We can learn a sentiment polarity classifier by optimizing the lower bound. We show that our method can outperform weakly supervised baselines on TripAdvisor and BeerAdvocate datasets and can be comparable to the state-of-the-art supervised method with hundreds of labels per aspect.

研究动机与目标

• 通过减少对昂贵方面级标注的依赖，解决文档级多方面情感分类（DMSC）中高标注成本的挑战。
• 实现在无需对整个语料库重新训练的情况下，对罕见方面实现增量学习，克服先前弱监督方法的局限性。
• 开发一种灵活的框架，通过变分推断将情感极性分类整合到弱监督的观点词预测目标中。
• 证明依存句法分析提取的目标-观点词对可作为训练高精度情感分类器的有效监督信号。
• 在仅使用目标-观点对弱监督的情况下，实现接近完全监督方法的性能。

提出的方法

• 该方法引入一个表示情感极性的隐变量，通过变分推断将观点词预测与情感分类关联起来。
• 推导出一个变分下界，以优化在给定目标词和情感极性时预测观点词的联合目标。
• 模型由两部分组成：一个从文档中预测情感极性的情感极性分类器，以及一个在给定目标和预测情感极性时预测观点词的观点词分类器。
• 通过依存句法分析和简单句法规则提取目标-观点词对，避免对标注对或外部词典的依赖。
• 该框架支持深度神经网络架构用于文档表示，能够建模词序和超越词袋假设的长距离依赖关系。
• 使用随机梯度下降端到端优化目标函数，变分下界作为训练目标。

实验结果

研究问题

• RQ1 通过基于规则的依存句法分析提取的目标-观点词对，能否作为文档级多方面情感分类的有效弱监督信号？
• RQ2 将情感极性建模为隐变量的变分框架，能否提升泛化能力并实现情感与观点词预测的联合学习？
• RQ3 所提方法是否在减少标注工作量的同时，实现与监督基线相当的性能？
• RQ4 该模型能否在不重新训练整个语料库的情况下，实现对罕见方面的增量参数学习？
• RQ5 与依赖整体文档情感极性的现有弱监督方法相比，该方法表现如何？

主要发现

• 在TripAdvisor和BeerAdvocate数据集上，所提方法在方面情感分类的F1得分上优于现有弱监督基线方法。
• 尽管仅使用目标-观点对的弱监督，该模型性能仍可与需要每方面数百个标注样本的最先进监督方法相媲美。
• 该方法实现了无需对整个数据集重新训练即可对新方面进行增量学习，解决了先前弱监督方法的关键局限。
• 使用简单规则的依存句法分析提取目标-观点对，可提供足够强的监督信号以训练出有效的情感分类器。
• 变分框架成功将情感极性预测整合到观点词预测目标中，提升了整体分类性能。
• 该方法对噪声或不完整的监督具有鲁棒性，因为变分下界有助于正则化学习过程。