[论文解读] Exploring the Power of Topic Modeling Techniques in Analyzing Customer Reviews: A Comparative Analysis

Anusuya Krishnan|arXiv (Cornell University)|Aug 19, 2023

Sentiment Analysis and Opinion Mining被引用 10

一句话总结

本论文比较六种主题建模方法（LDA、LSA、NMF、PAM、Top2Vec、BERTopic）在两个客户评价数据集上的表现，发现 BERTopic 通常在主题一致性和可解释性方面得分最高。

ABSTRACT

The exponential growth of online social network platforms and applications has led to a staggering volume of user-generated textual content, including comments and reviews. Consequently, users often face difficulties in extracting valuable insights or relevant information from such content. To address this challenge, machine learning and natural language processing algorithms have been deployed to analyze the vast amount of textual data available online. In recent years, topic modeling techniques have gained significant popularity in this domain. In this study, we comprehensively examine and compare five frequently used topic modeling methods specifically applied to customer reviews. The methods under investigation are latent semantic analysis (LSA), latent Dirichlet allocation (LDA), non-negative matrix factorization (NMF), pachinko allocation model (PAM), Top2Vec, and BERTopic. By practically demonstrating their benefits in detecting important topics, we aim to highlight their efficacy in real-world scenarios. To evaluate the performance of these topic modeling methods, we carefully select two textual datasets. The evaluation is based on standard statistical evaluation metrics such as topic coherence score. Our findings reveal that BERTopic consistently yield more meaningful extracted topics and achieve favorable results.

研究动机与目标

• 评估并比较多种主题建模技术在客户评价数据集上的表现。
• 在短文本与较长文本中使用一致性指标评估主题质量。
• 在实际评价分析中识别传统与神经主题模型的优缺点。

提出的方法

• 评审六种TM方法：LDA、NMF、LSA、PAM、Top2Vec、BERTopic。
• 通过去停用词、分词和词性标注的词形还原来预处理数据。
• 根据方法通过 BoW、矩阵分解、嵌入或分层结构来表示主题。
• 使用一致性分数（c_v 和 u_mass）进行评估，并考虑计算时间。
• 分析两个数据集上的结果，以评估对文本长度的鲁棒性。
• 提供示例主题和词云以说明可解释性。

实验结果

研究问题

• RQ1 哪种主题建模方法能为客户评价提供最具一致性且可解释的主题？
• RQ2 传统 TM 方法在短文本和长文本上与神经方法（Top2Vec、BERTopic）相比如何？
• RQ3 在一致性、预处理要求和计算效率方面，这些方法之间有哪些权衡？
• RQ4 在具有不同评价长度和领域的数据集上，发现是否具有普遍性？

主要发现

Topic modeling techniques	Coherence Score K=5	Coherence Score K=10
LDA	0.45	0.40
NMF	0.49	0.50
LSA	0.50	0.53
PAM	0.49	0.44
Top2Vec	0.56	0.54
BERTopic	0.62	0.56

• BERTopic 在两个数据集上最一致地实现最高的一致性（数据集1：c_v 0.62，u_mass -1.156；数据集2：c_v 0.60，u_mass -2.532）。
• Top2Vec 和 LSA/NMF 在短文本上表现竞争力，但在较长文本上一致性下降。
• 传统方法（LDA、LSA、NMF、PAM）的表现各异，且通常需要更广泛的预处理。
• BERTopic 相较于若干传统方法显示出有利的计算效率，且对预处理需求最小。
• 示例 BERTopic 主题描述性强且易于解释（例如包含关键词如 'Thanks'、 'great'、 'hotel'、 'room' 的主题）。
• 该研究建议将 BERTopic 作为分析短文本和长文本客户评价的首选方法。