[論文レビュー] Exploring the Power of Topic Modeling Techniques in Analyzing Customer Reviews: A Comparative Analysis

Anusuya Krishnan|arXiv (Cornell University)|Aug 19, 2023

Sentiment Analysis and Opinion Mining被引用数 10

ひとこと要約

本論文は二つのカスタマーレビュー・データセットに対して六つのトピックモデリング手法（LDA、LSA、NMF、PAM、Top2Vec、BERTopic）を比較し、BERTopic が一般に最も高いトピックコヒーレンスと解釈性を示すことを報告している。

ABSTRACT

The exponential growth of online social network platforms and applications has led to a staggering volume of user-generated textual content, including comments and reviews. Consequently, users often face difficulties in extracting valuable insights or relevant information from such content. To address this challenge, machine learning and natural language processing algorithms have been deployed to analyze the vast amount of textual data available online. In recent years, topic modeling techniques have gained significant popularity in this domain. In this study, we comprehensively examine and compare five frequently used topic modeling methods specifically applied to customer reviews. The methods under investigation are latent semantic analysis (LSA), latent Dirichlet allocation (LDA), non-negative matrix factorization (NMF), pachinko allocation model (PAM), Top2Vec, and BERTopic. By practically demonstrating their benefits in detecting important topics, we aim to highlight their efficacy in real-world scenarios. To evaluate the performance of these topic modeling methods, we carefully select two textual datasets. The evaluation is based on standard statistical evaluation metrics such as topic coherence score. Our findings reveal that BERTopic consistently yield more meaningful extracted topics and achieve favorable results.

研究の動機と目的

• カスタマーレビュー・データセット上で複数のトピックモデリング技術を評価・比較する。
• 短文と長文の両方でコヒーレンス指標を用いてトピックの品質を評価する。
• 実世界のレビュー分析における従来のトピックモデルとニューラルトピックモデルの長所と短所を特定する。

提案手法

• 六つの TM 手法をレビューする：LDA、NMF、LSA、PAM、Top2Vec、BERTopic。
• ストップワード除去、トークン化、品詞タグ付けを用いたlemmatizationでデータを前処理する。
• 手法に応じてBoW、行列因子分解、埋め込み、階層構造などでトピックを表現する。
• コヒーレンススコア（c_v および u_mass）で評価し、計算時間も考慮する。
• 二つのデータセットにわたる結果を分析し、テキスト長に対する頑健性を評価する。
• 解釈性を示すためにサンプルトピックとワードクラウドを提供する。

実験結果

リサーチクエスチョン

• RQ1 どのトピックモデリング手法が、カスタマーレビューに対して最もコヒーレントで解釈しやすいトピックを提供しますか？
• RQ2 従来の TM 手法は短文と長文を横断して、ニューラル手法（Top2Vec、BERTopic）とどう比較されますか？
• RQ3 コヒーレンス、前処理要件、計算効率の間で各手法のトレードオフは何ですか？
• RQ4 異なる長さとドメインのデータセット間で結果は普遍性を持ちますか？

主な発見

Topic modeling techniques	Coherence Score K=5	Coherence Score K=10
LDA	0.45	0.40
NMF	0.49	0.50
LSA	0.50	0.53
PAM	0.49	0.44
Top2Vec	0.56	0.54
BERTopic	0.62	0.56

• BERTopic は両データセットを通じて最も一貫して最高のコヒーレンスを達成する（データセット1: c_v 0.62, u_mass -1.156; データセット2: c_v 0.60, u_mass -2.532）。
• Top2Vec および LSA/NMF は短文で競争力のある性能を示すが、長文ではコヒーレンスが低下する。
• 従来手法（LDA、LSA、NMF、PAM）は性能がばらつき、しばしばより広範な前処理を要する。
• BERTopic はいくつかの従来手法と比較して計算効率が優れており、前処理要件も最小限である。
• サンプルの BERTopic トピックは記述的で解釈しやすい（例：'Thanks'、'great'、'hotel'、'room' といったキーワードを含むトピック）。
• 本研究は短文・長文の両方のカスタマーレビューを分析する際に BERTopic を推奨する。）