[论文解读] Helping each Other: A Framework for Customer-to-Customer Suggestion Mining using a Semi-supervised Deep Neural Network

Hitesh Golchha, Deepak Gupta+2 more|arXiv (Cornell University)|Nov 1, 2018

Sentiment Analysis and Opinion Mining参考文献 15被引用 4

一句话总结

该论文提出了一种半监督混合深度学习模型，用于从评论中挖掘客户对客户的建议，结合CNN、LSTM和自训练方法，以提升对建议性句子的检测效果。通过利用未标注数据，该方法在酒店和电子产品领域分别取得了65.6%和65.5%的SOTA F值，首次将自训练应用于该任务。

ABSTRACT

Suggestion mining is increasingly becoming an important task along with sentiment analysis. In today's cyberspace world, people not only express their sentiments and dispositions towards some entities or services, but they also spend considerable time sharing their experiences and advice to fellow customers and the product/service providers with two-fold agenda: helping fellow customers who are likely to share a similar experience, and motivating the producer to bring specific changes in their offerings which would be more appreciated by the customers. In our current work, we propose a hybrid deep learning model to identify whether a review text contains any suggestion. The model employs semi-supervised learning to leverage the useful information from the large amount of unlabeled data. We evaluate the performance of our proposed model on a benchmark customer review dataset, comprising of the reviews of Hotel and Electronics domains. Our proposed approach shows the F-scores of 65.6% and 65.5% for the Hotel and Electronics review datasets, respectively. These performances are significantly better compared to the existing state-of-the-art system.

研究动机与目标

• 开发一种稳健的方法，用于识别客户评论中的建议性句子，特别是那些向其他客户提供建议的句子。
• 通过利用大规模未标注评论进行半监督学习，解决建议挖掘中标签数据稀缺的问题。
• 通过整合语言学特征和深度神经网络架构，超越现有SOTA模型。
• 探索在低资源建议挖掘场景下，自训练的有效性。

提出的方法

• 一种混合神经架构结合CNN和LSTM，从评论句子中提取层次化和序列化特征。
• 该模型采用自训练（一种半监督学习形式），通过迭代方式对未标注数据中的高置信度预测进行标注，并重新训练模型。
• 将语言学启发的特征（如词性标注、依存关系、情感分析以及序列模式）整合到输入表征中。
• 该框架在酒店和电子产品领域的基准数据集上进行训练和评估，通过细致的采样和分析处理类别不平衡问题。
• 使用混淆矩阵和定性错误分析来诊断失败案例，并指导模型优化。

实验结果

研究问题

• RQ1 结合半监督学习的混合深度学习模型是否能在客户对客户的建议挖掘任务中超越现有监督基线？
• RQ2 在标签数据有限的情况下，自训练在提升模型泛化能力方面的有效性如何？
• RQ3 哪些语言学模式和句法结构最能预测客户评论中建议意图？
• RQ4 某些误报和漏报为何发生，是否可通过更好的数据或架构设计加以缓解？

主要发现

• 所提出的结合自训练的混合模型在酒店评论数据集上达到65.6%的F值，在电子产品评论数据集上达到65.5%的F值，超越了当前SOTA水平。
• 半监督学习通过有效利用大量未标注客户评论，显著提升了模型性能。
• 误报通常源于类似祈使句的结构，但并非真实建议，例如第二人称叙述或非祈使性命令。
• 漏报通常由长而复杂的句子导致，其中仅有一个分句具有建议性，或两句话合并时缺乏正确标点符号。
• 模型在讽刺和微妙建议方面表现不佳，尤其是在训练数据中讽刺被错误标注的情况下。
• 错误分析表明，系统能够学习检测建议性词汇和祈使语气，但需要更多数据才能更好地区分相似句法形式。