[论文解读] Jointly Modeling Aspect and Polarity for Aspect-based Sentiment Analysis in Persian Reviews

Milad Vazan, Jafar Razmara|arXiv (Cornell University)|Sep 15, 2021

Sentiment Analysis and Opinion Mining被引用 6

一句话总结

本文提出了一种针对波斯语的方面级情感分析联合建模方法，采用深度学习模型（CNN、GRU、LSTM、Bi-LSTM）同时检测方面及其情感极性。在包含2,200个样本的波斯语文本评论数据集上进行评估，结果显示CNN和GRU在基于样本和基于标签的指标上均优于LSTM和Bi-LSTM，表现出更优的性能。

ABSTRACT

Identification of user's opinions from natural language text has become an exciting field of research due to its growing applications in the real world. The research field is known as sentiment analysis and classification, where aspect category detection (ACD) and aspect category polarity (ACP) are two important sub-tasks of aspect-based sentiment analysis. The goal in ACD is to specify which aspect of the entity comes up in opinion while ACP aims to specify the polarity of each aspect category from the ACD task. The previous works mostly propose separate solutions for these two sub-tasks. This paper focuses on the ACD and ACP sub-tasks to solve both problems simultaneously. The proposed method carries out multi-label classification where four different deep models were employed and comparatively evaluated to examine their performance. A dataset of Persian reviews was collected from CinemaTicket website including 2200 samples from 14 categories. The developed models were evaluated using the collected dataset in terms of example-based and label-based metrics. The results indicate the high applicability and preference of the CNN and GRU models in comparison to LSTM and Bi-LSTM.

研究动机与目标

• 为解决波斯语文本中方面类别检测（ACD）与方面类别情感极性（ACP）分别建模的局限性。
• 开发一种统一框架，联合预测波斯语文本评论中的方面及其情感极性。
• 评估多种深度学习架构（CNN、GRU、LSTM、Bi-LSTM）在低资源、词形复杂的语言（如波斯语）中联合进行ACD与ACP的性能。
• 收集并发布一个新的波斯语文本评论数据集，包含2200个样本，覆盖14个方面类别，用于方面级情感分析。
• 在多标签分类设置下，使用基于样本和基于标签的评估指标对比模型性能。

提出的方法

• 该方法将方面级情感分析建模为多标签分类任务，其中每个评论样本关联多个方面-极性对。
• 采用四种深度神经网络架构——卷积神经网络（CNN）、门控循环单元（GRU）、长短期记忆网络（LSTM）和双向LSTM（Bi-LSTM）——进行联合预测。
• 使用词嵌入表示输入文本，模型端到端训练以预测方面类别及其对应的情感极性（正面、负面、中性）。
• 模型在从CinemaTicket收集的新波斯语文本评论数据集上进行训练和评估，涵盖14个方面类别。
• 通过基于样本和基于标签的指标（包括F1-score和汉明准确率）衡量性能，以评估实例级和标签级预测质量。
• 对超参数进行调优以优化性能，并在多种评估协议下对比不同模型。

实验结果

研究问题

• RQ1 与分别建模相比，联合建模方面检测与情感极性分类是否能提升波斯语方面级情感分析的性能？
• RQ2 在波斯语文本中，哪种深度学习架构——CNN、GRU、LSTM或Bi-LSTM——在联合检测方面及其极性方面表现最佳？
• RQ3 在评估联合方面与情感极性预测模型性能时，基于样本和基于标签的评估指标有何差异？
• RQ4 波斯语的词形复杂性在多大程度上影响标准NLP模型在方面级情感分析中的性能？
• RQ5 使用自定义的、领域特定的波斯语文本评论数据集是否能提升低资源环境下模型的泛化能力与性能？

主要发现

• 在所有评估的架构中，CNN和GRU模型在波斯语文本评论数据集上表现最佳。
• CNN和GRU在基于样本和基于标签的F1-score指标上均优于LSTM和Bi-LSTM，表明其具有更好的泛化能力和更高的标签预测准确率。
• 联合建模方法有效捕捉了方面-极性依赖关系，减少了流水线方法中常见的误差传播问题。
• CNN和GRU的基于标签的F1-score始终更高，表明其在多标签预测任务中表现更强。
• 包含2200个波斯语文本评论样本、覆盖14个方面类别的数据集，是未来低资源、词形丰富的语言情感分析研究的宝贵资源。
• 结果表明，架构选择在联合方面与情感极性检测中显著影响性能，循环网络与卷积网络在波斯语NLP中展现出不同的优势。