[論文レビュー] Large Language Models Offer an Alternative to the Traditional Approach of Topic Modelling

Yida Mu, Chun Dong+2 more|arXiv (Cornell University)|Mar 24, 2024

Computational and Text Analysis Methods被引用数 11

ひとこと要約

この論文は、大規模言語モデル（LLMs）がコーパスから直接トピックを抽出・要約できるかを評価し、GPT-3.5とLLaMA-2-7BをLDAとBERTopicと比較し、プロンプト設計、シード、および要約を用いて人間に解釈可能なトピックと評価指標を生成します。

ABSTRACT

Topic modelling, as a well-established unsupervised technique, has found extensive use in automatically detecting significant topics within a corpus of documents. However, classic topic modelling approaches (e.g., LDA) have certain drawbacks, such as the lack of semantic understanding and the presence of overlapping topics. In this work, we investigate the untapped potential of large language models (LLMs) as an alternative for uncovering the underlying topics within extensive text corpora. To this end, we introduce a framework that prompts LLMs to generate topics from a given set of documents and establish evaluation protocols to assess the clustering efficacy of LLMs. Our findings indicate that LLMs with appropriate prompts can stand out as a viable alternative, capable of generating relevant topic titles and adhering to human guidelines to refine and merge topics. Through in-depth experiments and evaluation, we summarise the advantages and constraints of employing LLMs in topic extraction.

研究の動機と目的

• オープン領域およびドメイン固有のコーパスに対する、古典的なトピックモデリングのプラグアンドプレイ代替としてLLMsの利用を動機づけます。
• 制約やシードを含むプロンプティング技法を調査し、LLMsを粒度の高く人間に解釈可能なトピックへ導く。
• トピックの質・粒度・人間の期待との整合性を評価するプロトコルを開発します。
• ワクチン躊躇に関する時系列分析のケーススタディを示し、動的なトピック抽出と要約能力を示します。
• データセット全体で、LLM主導のトピック抽出と従来手法（LDA、BERTopic）を比較します。

提案手法

• 文書集合からのトピック抽出の基盤となるLLMとしてGPT-3.5とLLaMA-2-7Bを使用します。
• システムとユーザーメッセージを用いてトピックリストを生成し、アウトオブボックス、制約、および手動後処理を検討します。
• 粒度を誘導しトピックの重複を減らすためにシードトピックを導入します。
• 要約ステップを適用してトピックを統合・蒸留し、説明付きの最終Top-Nリストを作成します。
• トピック距離（Jaccard）と意味的粒度（BERTコサイン類似度）、およびシードトピックに対する再現率/適合率を含む評価指標を提案します。
• COVID-19ワクチン躊躇に関するTwitterデータの時系列分析のケーススタディを提供し、時間経過に伴うダイナミクスを示します。

Figure 1: Example prompts for LLaMA. Text enclosed by the special tokens ‘ $\ll$ SYS $\gg$ ’ is designated as a system prompt.

実験結果

リサーチクエスチョン

• RQ1 LLMsは、古典的なトピックモデリングの前処理を行わずに、生のテキストから意味のある、人間に解釈可能なトピックを直接生成できるか？
• RQ2 プロンプト戦略（基本プロンプト、シード、要約）が、オープン領域およびドメイン固有のコーパス全体でトピックの品質と粒度にどのように影響するか？
• RQ3 LLM生成トピックの質・独自性・粒度を最もよく捉える評価指標は何か？
• RQ4 時系列のTwitterデータなど、動的コーパスにおいて従来モデルを再実行せずにLLMsは変化するトピックに適応できるか？

主な発見

• 適切なプロンプトと制約に導かれれば、LLMsは解釈可能で人間の期待と一致するトピックを生成できる。
• シードトピックはデータセットとLLMs全体で一貫してトピック抽出の品質と粒度を向上させる。
• 最終的なTop-N要約ステップは、元のカテゴリの大部分を網羅し、説明を提供する、コンパクトで代表的なトピック集合を生み出す。
• 評価指標は、最終トピックリストが大半が独立しており（重複が少ない）、Top-Nが大きくなると意味的粒度が増すことを示している。
• 時系列のワクチン躊躇ケーススタディでは、LLMsが時間とともに進化するトピックを抽出し、説明的分析を生成する能力を示す（例：GPT-4による説明）。

Figure 2: Two examples of final topics summarised by LLMs, namely ‘Technology & Computers’ (20NG) and ‘Trust & Mistrust’ (Vaccine dataset).