[论文解读] ASAP: A Chinese Review Dataset Towards Aspect Category Sentiment Analysis and Rating Prediction

Jiahao Bu, Lei Ren+5 more|arXiv (Cornell University)|Mar 11, 2021

Sentiment Analysis and Opinion Mining参考文献 32被引用 7

一句话总结

本文介绍了 ASAP，一个大规模中文餐厅评论数据集，包含 46,730 篇人工标注的评论，用于方面类别情感分析（ACSA）和评分预测（RP），涵盖 18 个方面类别和五星级评分。该研究提出了一种基于 BERT 的联合模型，通过共享表征和多任务学习，在两项任务上均提升了性能，相较于最先进基线模型在 ACSA 和 RP 上表现更优，且 MAE 更低、准确率更高。

ABSTRACT

Sentiment analysis has attracted increasing attention in e-commerce. The sentiment polarities underlying user reviews are of great value for business intelligence. Aspect category sentiment analysis (ACSA) and review rating prediction (RP) are two essential tasks to detect the fine-to-coarse sentiment polarities. %Considering the sentiment of the aspects(ACSA) and the overall review rating(RP) simultaneously has the potential to improve the overall performance. ACSA and RP are highly correlated and usually employed jointly in real-world e-commerce scenarios. While most public datasets are constructed for ACSA and RP separately, which may limit the further exploitation of both tasks. To address the problem and advance related researches, we present a large-scale Chinese restaurant review dataset extbf{ASAP} including $46,730$ genuine reviews from a leading online-to-offline (O2O) e-commerce platform in China. Besides a $5$-star scale rating, each review is manually annotated according to its sentiment polarities towards $18$ pre-defined aspect categories. We hope the release of the dataset could shed some light on the fields of sentiment analysis. Moreover, we propose an intuitive yet effective joint model for ACSA and RP. Experimental results demonstrate that the joint model outperforms state-of-the-art baselines on both tasks.

研究动机与目标

• 为解决方面类别情感分析（ACSA）和评分预测（RP）领域缺乏大规模、联合标注的中文数据集的问题。
• 通过提供一个统一的数据集，实现 ACSA 和 RP 的联合建模，以捕捉细粒度方面情感与整体评论评分之间的关系。
• 通过联合分析方面级情感与整体评分，提升情感理解与可靠性检测能力，推动电子商务业务智能的发展。
• 公开发布一个高质量、可访问的数据集，以促进中文方面级情感分析与评分预测的研究。

提出的方法

• 作者从中国领先的 O2O 电商平台（美团）收集了 46,730 篇真实的餐厅评论。
• 每篇评论均针对 18 个预定义方面类别（如食物、服务、氛围等）进行人工标注，标注内容为情感极性（正面、负面、中性）。
• 提出了一种联合深度学习模型，该模型在 ACSA 和 RP 任务之间共享 BERT 编码器，从而实现在方面级情感预测与整体评分估计之间的知识迁移。
• 模型使用注意力池化层，动态聚焦于与每个方面类别相关的关键标记，提升情感承载短语的定位能力。
• 联合模型采用端到端的多任务学习方式进行训练，ACSA 和 RP 的损失函数被同时优化。
• 由于参数共享，该模型架构在方面类别数量较多时仍能实现高效推理。

实验结果

研究问题

• RQ1 大规模、多方面、多标签的中文评论数据集是否能提升方面类别情感分析与评分预测模型的性能？
• RQ2 与独立训练相比，ACSA 和 RP 的联合建模在性能上是否具有显著提升？
• RQ3 在整体评分预测中，引入细粒度方面情感信息能在多大程度上提高预测准确性？
• RQ4 使用共享表征和注意力机制的 BERT 是否能在 ACSA 和 RP 任务中实现更好的泛化能力？

主要发现

• 所提出的联合模型在 ACSA 上取得了 84.7% 的宏平均 F1 分数，在评分预测上准确率达到 61.26%，优于所有最先进基线模型。
• 联合模型将评分预测的平均绝对误差（MAE）降低至 0.4266，显著低于最佳基线模型的 0.5620。
• 消融实验表明，移除 RP 头会降低两项任务的性能，证实了联合学习的互补性。
• 注意力可视化显示，模型能有效聚焦于与方面相关的关键标记，例如对“交通还挺方便的”关注于交通方面，对“特别吵感觉”关注于噪音方面。
• 即使不进行 ACSA 任务（仅保留 RP 头），该联合模型仍优于所有独立的 ACSA 基线模型，表明 RP 为方面情感预测提供了有用的归纳偏置。
• 数据集的发布有望加速中文方面级情感分析的研究，并提升实际电子商务应用的性能。