[論文レビュー] Revisiting Automated Topic Model Evaluation with Large Language Models

Dominik Stammbach, Vilém Zouhar+3 more|arXiv (Cornell University)|May 20, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLMs）を用いてトピックモデルの評価とハイパーパrameterチューニングを自動化する手法を提案し、LLMsが一貫性タスクにおいて人間の判断よりも強い相関を示すことを示している。LLMsは研究課題をプロンプトに組み込むことで、トピックの質を的確に評価し、最適なトピック数の選定を支援する。

ABSTRACT

Topic models are used to make sense of large text collections. However, automatically evaluating topic model output and determining the optimal number of topics both have been longstanding challenges, with no effective automated solutions to date. This paper proposes using large language models to evaluate such output. We find that large language models appropriately assess the resulting topics, correlating more strongly with human judgments than existing automated metrics. We then investigate whether we can use large language models to automatically determine the optimal number of topics. We automatically assign labels to documents and choosing configurations with the most pure labels returns reasonable values for the optimal number of topics.

研究の動機と目的

• 長年の課題であるトピックモデルの評価とハイパーパrameter選定の自動化に取り組む。
• 従来の自動指標（例：NPMI、Cv）が人間によるトピック一貫性の判断と相関が低いという問題を克服する。
• LLMsがトピックモデルの品質とトピック数の選定における人間評価の代替として信頼性がありスケーラブルな手法として機能するかを検討する。
• 研究課題をLLMsのプロンプトに統合し、実世界の応用において最適なトピック数の選定を支援する。

提案手法

• 主にChatGPTを用いて、2つの標準的なトピック一貫性評価タスク（語の不審者検出とトピック一貫性のスコアリング）を実施する。
• LLMにトピック語集合を1〜3のスケールで評価させることで、LLMベースのトピック一貫性スコアを生成する。
• LLMに各トピッククラスタ内のドキュメントにラベルを付与させ、ラベルの純度を測定することで、最適なトピック数を特定する新規手法を提案する。
• LLMが付与したラベルと真値ラベルを比較し、クラスタリングの質を評価し、ラベル割り当てが最も純度の高いトピック構成を特定する。
• 研究課題をLLMプロンプトに組み込むことで、実世界の使用事例に適合したトピック数選定を支援する。
• ブートストラップリサンプリング（1000回のエピソード）を用いて、LLMスコアと人間のアノテーション間のスピアマン相関を計算し、有意性検定を実施する。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、NPMI や Cv といった従来の自動指標よりも、人間の評価とより強く相関する一貫性判断を提供できるか？
• RQ2 評価タスクの種別（スコアリング対比不審語検出）が、LLMの判断と人間の評価との相関に影響を与えるか？
• RQ3 LLMsを用いて、ドキュメントクラスタ内のラベル純度を評価することで、合理的なトピック数を自動的に特定できるか？
• RQ4 LLMプロンプトに研究課題を組み込むことで、最適なトピック数の選定にどのような影響が生じるか？
• RQ5 LLMが割り当てたラベルは、実世界のデータセットにおいて、どの程度真値ラベルと重複するか？

主な発見

• LLMの一体性スコアは、人間の評価と有意に高いスピアマン相関（「Both」データセットで0.64）を示したのに対し、NPMI（0.40）やCv（0.40）はそれより低く、有意差（p < 0.05）が確認された。
• LLMの性能は、トピックスコアリングタスク（0.64）で不審語検出タスク（0.36）よりも優れており、スコアリングタスクでは人間の一体性判断とより一致していることが示された。
• LLMベースのトピック数選定手法により、真値ラベル分布に非常に近い純度の高いラベル割り当てを持つ構成を特定できた。これは、真値ラベルの10倍以上のユニークラベルを割り当てた場合でも同様に成立した。
• Billsデータセットでは、最も適切な構成の平均LLMラベル純度が3.0（1〜3スケール）であった一方、最も不適切な構成では平均2.0であった。これは明確な差が生じていることを示している。
• 定性的分析により、LLMが割り当てたラベルはしばしば真値ラベルと一致しており、トピックの一貫性を反映しており、最高性能を示す構成では純度が高かった。
• 研究課題をプロンプトに組み込むことで、トピック数選定の関連性と正確性が向上し、実世界の使用事例に適用可能な手法となった。