[論文レビュー] Qualitative Insights Tool (QualIT): LLM Enhanced Topic Modeling

Satya Kapoor, Alex Gil+3 more|arXiv (Cornell University)|Sep 24, 2024

Computational and Text Analysis Methods被引用数 8

ひとこと要約

QualITは大規模言語モデルとクラスタリングベースのトピックモデリングを統合し、LDAおよびBERTopicよりも一貫性があり多様なトピックを生成します。ground-truthトピックを用いた20ニュースグループで評価され、キー句の抽出、幻覚検知、2層クラスタリングを用いて主トピックとサブトピックを生成します。

ABSTRACT

Topic modeling is a widely used technique for uncovering thematic structures from large text corpora. However, most topic modeling approaches e.g. Latent Dirichlet Allocation (LDA) struggle to capture nuanced semantics and contextual understanding required to accurately model complex narratives. Recent advancements in this area include methods like BERTopic, which have demonstrated significantly improved topic coherence and thus established a new standard for benchmarking. In this paper, we present a novel approach, the Qualitative Insights Tool (QualIT) that integrates large language models (LLMs) with existing clustering-based topic modeling approaches. Our method leverages the deep contextual understanding and powerful language generation capabilities of LLMs to enrich the topic modeling process using clustering. We evaluate our approach on a large corpus of news articles and demonstrate substantial improvements in topic coherence and topic diversity compared to baseline topic modeling techniques. On the 20 ground-truth topics, our method shows 70% topic coherence (vs 65% & 57% benchmarks) and 95.5% topic diversity (vs 85% & 72% benchmarks). Our findings suggest that the integration of LLMs can unlock new opportunities for topic modeling of dynamic and complex text data, as is common in talent management research contexts.

研究の動機と目的

• 複雑な語りに含まれるニュアンスを捉えたトピックモデリングの改善を動機づける。
• LLMとクラスタリングを組み合わせて文書ごとに複数のトピック表現を生成するフレームワークを提案する。
• キー句抽出と一貫性フィルタリングを通じてノイズを削減し、トピックの解釈性を向上させる。
• 標準的なベースラインとベンチマークデータセットに対してパフォーマンスを評価し、一貫性と多様性の向上を示す。

提案手法

• 各文書からLLMを用いて複数のトピックを捉えるキー句を抽出する。
• 埋め込みのコサイン類似度を用いた一貫性ベースの幻覚検知を実施し、信頼性の低いキー句をフィルタリングする。
• キー句に対してK-Meansクラスタリングを適用し、主トピックのクラスタとサブトピックのサブクラスタを形成する。
• 各主要クラスタについて、グループ化された文書から主要テーマを抽出するようLLMにプロンプトする。
• 各主要クラスタ内で再クラスタリングを行い、サブトピックを明らかにし、LLMプロンプトを通じてサブトピックを抽出する。
• Silhouetteスコアを用いてクラスタ数を自動的に決定し、適切なトピック数を選択する。

Figure 1 . QualIT : Qualitative Insights Tool

実験結果

リサーチクエスチョン

• RQ1 QualITは20ニュースグループデータセットでLDAおよびBERTopicと比較してトピックの一貫性（TC）とトピックの多様性（TD）を改善するか？
• RQ2 LLM支援のキー句抽出とデュアルレイヤークラスタリングにより、ground-truthカテゴリーに沿ったより解釈しやすいトピックを生成できるか？
• RQ3 トピック数（10、20、30、40、50）によるTCとTDへの影響は方法間でどうなるか？
• RQ4 人間の評価者のground-truthトピックへのマッピングにおいて、QualIT出力の一致度はベンチマーク手法より高いか？
• RQ5 ランタイムとクラスタリングアプローチの制約は何か、HDBSCAN等の代替クラスタリングが結果にどのように影響するか？

主な発見

No. of Topics	Topic Coherence	Topic Diversity
10	47.0 %	69.0 %
20	57.0 %	72.0 %
30	65.0 %	93.0 %
40	61.0 %	93.0 %
50	60.0 %	92.0 %
10	56.0 %	82.0 %
20	65.0 %	85.0 %
30	62.0 %	88.3 %
40	62.0 %	88.8 %
50	60.2 %	87.2 %
10	66.0 %	95.0 %
20	70.0 %	95.5 %
30	65.0 %	93.0 %
40	61.0 %	93.0 %
50	60.0 %	92.0 %

• QualITは、20ニュースグループにおいてLDAおよびBERTopicより平均的なトピックコヒーレンス（TC）とトピック多様性（TD）が高く、特に10–30トピックレンジでの改善が見られる。
• 20トピックの場合、QualITはTCを57.0%、TDを72.0%と達成し、これらの指標でLDAおよびBERTopicを上回る。
• 評価対象となるトピック数（10–50）ぜんぶでQualITの平均TCとTDはそれぞれ64.4%と93.7%で、両ベースラインより高い。
• 人間の評価者はGround-truthトピックへのマッピングにおいて、QualIT出力の一致度がベンチマーク手法より高いことを示した。
• QualITの出力は人間には自明でないことが少なく、評価者間でのトピック分類の合意が高いことが示された。