[논문 리뷰] Revisiting Automated Topic Model Evaluation with Large Language Models

Dominik Stammbach, Vilém Zouhar외 3명|arXiv (Cornell University)|2023. 05. 20.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 주제 모델 평가와 하이퍼파라미터 튜닝을 자동화하는 것을 제안하며, 주제 일관성 작업에서 LLM이 기존의 자동 평가 지표보다 인간 평가와 더 강한 상관관계를 보임을 입증한다. LLM은 연구 질문을 프롬프트에 통합하여 주제 품질을 효과적으로 평가하고 최적의 주제 수를 선정하는 데 기여한다.

ABSTRACT

Topic models are used to make sense of large text collections. However, automatically evaluating topic model output and determining the optimal number of topics both have been longstanding challenges, with no effective automated solutions to date. This paper proposes using large language models to evaluate such output. We find that large language models appropriately assess the resulting topics, correlating more strongly with human judgments than existing automated metrics. We then investigate whether we can use large language models to automatically determine the optimal number of topics. We automatically assign labels to documents and choosing configurations with the most pure labels returns reasonable values for the optimal number of topics.

연구 동기 및 목표

• 주제 모델 평가와 하이퍼파라미터 선택을 자동화하는 데 오랫동안 지속된 과제를 해결한다.
• 기존의 자동 평가 지표(예: NPMI, Cv)가 주제 일관성에 대한 인간 평가와 빈약한 상관관계를 보이는 문제를 해결한다.
• LLM이 주제 모델 품질과 주제 수 선정에 대해 신뢰할 수 있고 확장 가능한 인간 평가의 대체 수단이 될 수 있는지 탐색한다.
• 실제 응용 사례에 적합한 주제 수 선정을 유도하기 위해 연구 질문을 LLM 프롬프트에 통합한다.

제안 방법

• 주로 ChatGPT를 사용하여 두 가지 표준 주제 일관성 평가 작업을 수행한다: 단어 침입 탐지 및 주제 일관성 평가.
• LLM이 주제 단어 집합을 1~3점 척도로 평가하거나 침입자로 지목된 단어를 식별하도록 프롬프트를 제공하여 주제 일관성 점수를 생성한다.
• 문서 클러스터의 주제 레이블을 할당하고 레이블 순수도를 측정하여 최적의 주제 수를 결정하는 새로운 방법을 제안한다.
• LLM이 할당한 레이블을 지표 레이블과 비교하여 클러스터링 품질을 평가하고 가장 순수한 레이블 할당을 보이는 주제 구성 설정을 식별한다.
• 실제 응용 사례에 적합한 주제 수 선정을 유도하기 위해 연구 질문을 LLM 프롬프트에 통합한다.
• 부트스트랩 리샘플링(1000회 반복)을 사용하여 LLM 점수와 인간 주석 간의 스피어만 상관관계를 계산하고, 유의성 검정을 수행한다.

실험 결과

연구 질문

• RQ1 LLM이 NPMI 및 Cv와 같은 기존 자동 평가 지표보다 인간 평가와 더 강한 상관관계를 보이는 일관성 평가를 제공할 수 있는가?
• RQ2 평가 작업 유형(평가 vs. 침입 탐지)이 LLM 평가와 인간 평가 간의 상관관계에 영향을 미치는가?
• RQ3 LLM을 사용하여 문서 클러스터의 레이블 순수도를 평가함으로써 합리적인 주제 수를 자동으로 결정할 수 있는가?
• RQ4 연구 질문을 LLM 프롬프트에 통합할 경우 최적의 주제 수 선정에 어떤 영향을 미치는가?
• RQ5 실제 데이터셋에서 LLM이 할당한 레이블이 지표 레이블과 얼마나 겹치는가?

주요 결과

• LLM 일관성 점수는 인간 평가와 더 높은 스피어만 상관관계(‘Both’ 데이터셋 기준 0.64)를 보였고, NPMI(0.40) 및 Cv(0.40)보다 유의미하게 높았다(p < 0.05).
• LLM의 성능은 평가 작업(0.64)에서 침입 탐지 작업(0.36)보다 더 우수했으며, 이는 평가 작업에서 인간의 일관성 평가와 더 잘 일치함을 시사한다.
• LLM 기반 주제 수 선정 방법은 지표 레이블 분포와 매우 유사한 순수도를 보이는 구성 설정을 식별했으며, 지표보다 10배 이상 많은 고유 레이블을 할당한 경우에도 성능을 유지했다.
• Bills 데이터셋에서 가장 적합한 구성 설정의 평균 LLM 할당 레이블 순수도는 3.0(1~3 척도 기준)이었고, 가장 부적합한 설정은 평균 2.0이었으며, 이는 명확한 구분이 있음을 시사한다.
• 정성적 분석을 통해 LLM이 할당한 레이블이 종종 지표 레이블과 일치하고 주제 일관성을 반영하며, 최고 성능을 보이는 구성 설정에서 높은 순수도를 보임을 확인했다.
• 연구 질문을 프롬프트에 통합함으로써 주제 수 선정의 관련성과 정확도가 향상되어 실제 응용 사례에 적용 가능한 방법이 되었다.