[논문 리뷰] Qualitative Insights Tool (QualIT): LLM Enhanced Topic Modeling

Satya Kapoor, Alex Gil외 3명|arXiv (Cornell University)|2024. 09. 24.

Computational and Text Analysis Methods인용 수 8

한 줄 요약

QualIT는 대형 언어 모델을 군집 기반 주제 모형화와 통합하여 LDA 및 BERTopic보다 더 일관되고 다양한 주제를 생성하며 ground-truth 주제로 평가된 20 NewsGroups에서 평가되었습니다. 주요 구문 추출, 환각 여부 검사 및 이중 레이어 군집화를 사용하여 주요 주제와 하위 주제를 생성합니다.

ABSTRACT

Topic modeling is a widely used technique for uncovering thematic structures from large text corpora. However, most topic modeling approaches e.g. Latent Dirichlet Allocation (LDA) struggle to capture nuanced semantics and contextual understanding required to accurately model complex narratives. Recent advancements in this area include methods like BERTopic, which have demonstrated significantly improved topic coherence and thus established a new standard for benchmarking. In this paper, we present a novel approach, the Qualitative Insights Tool (QualIT) that integrates large language models (LLMs) with existing clustering-based topic modeling approaches. Our method leverages the deep contextual understanding and powerful language generation capabilities of LLMs to enrich the topic modeling process using clustering. We evaluate our approach on a large corpus of news articles and demonstrate substantial improvements in topic coherence and topic diversity compared to baseline topic modeling techniques. On the 20 ground-truth topics, our method shows 70% topic coherence (vs 65% & 57% benchmarks) and 95.5% topic diversity (vs 85% & 72% benchmarks). Our findings suggest that the integration of LLMs can unlock new opportunities for topic modeling of dynamic and complex text data, as is common in talent management research contexts.

연구 동기 및 목표

• 향용된 복잡한 서사에서 미묘한 의미를 포착하는 향상된 주제 모형화를 촉진한다.
• 문서당 다중 주제 표현을 생성하기 위해 LLM과 클러스터링을 결합하는 프레임워크를 제안한다.
• 키 프레이즈 추출 및 일관성 필터링을 통해 노이즈를 줄이고 주제의 해석 가능성을 향상시킨다.
• 벤치마크 데이터셋에서 표준 기반과 비교하여 일관성 및 다양성의 이점을 입증한다.

제안 방법

• 문서별 키 프레이즈를 LLM을 사용해 추출하여 문서 내 다중 주제를 포착한다.
• 임베딩의 코사인 유사도를 이용한 일관성 기반의 환각 검사로 신뢰할 수 없는 키 프레이즈를 필터링한다.
• 키 프레이즈에 대해 K-Means 클러스터링을 적용하여 주요 주제 클러스터와 하위 주제를 형성한다.
• 각 주요 클러스터에 대해 그룹화된 문서에서 주제를 distill하는 메인 테마를 LLM으로 도출하도록 프롬프트한다.
• 각 주요 클러스터 내에서 하위 주제를 밝히기 위해 재클러스터링하고 LLM 프롬프트를 통해 하위 주제를 추출한다.
• 실력 점수를 사용하여 Silhouette 점수로 적절한 주제 수를 자동으로 선택한다.

Figure 1 . QualIT : Qualitative Insights Tool

실험 결과

연구 질문

• RQ1 QualIT가 20 NewsGroups 데이터셋에서 LDA 및 BERTopic에 비해 주제 일관성(TC)과 주제 다양성(TD)을 향상시키는가?
• RQ2 LLM 보조 키 프레이즈 추출과 이중 레이어 클러스터링이 ground-truth 카테고리와 일치하는 더 해석 가능한 주제를 생성하는가?
• RQ3 주제 수(10, 20, 30, 40, 50)가 방법 간 TC 및 TD에 미치는 영향은 무엇인가?
• RQ4 ground-truth 주제 매핑 시 QualIT 출력에 대해 인간 평가자 간 일치도가 벤치마크 방법보다 높은가?
• RQ5 런타임 및 클러스터링 방식의 한계는 무엇이며, 대안 클러스터링(HDBSCAN 등)이 결과에 어떤 영향을 미칠 수 있는가?

주요 결과

주제 수	주제 일관성	주제 다양성
10	47.0 %	69.0 %
20	57.0 %	72.0 %
30	65.0 %	93.0 %
40	61.0 %	93.0 %
50	60.0 %	92.0 %
10	56.0 %	82.0 %
20	65.0 %	85.0 %
30	62.0 %	88.3 %
40	62.0 %	88.8 %
50	60.2 %	87.2 %
10	66.0 %	95.0 %
20	70.0 %	95.5 %
30	65.0 %	93.0 %
40	61.0 %	93.0 %
50	60.0 %	92.0 %

• QualIT는 20 NewsGroups에서 LDA 및 BERTopic보다 평균 TC 및 TD가 더 높게 나타났으며, 특히 10–30 주제 범위에서 차이가 뚜렷하다.
• 20 주제의 경우 QualIT는 TC 57.0% 및 TD 72.0%를 달성하여 이 지표들에서 LDA 및 BERTopic보다 우수하다.
• 평가된 주제 수(10–50) 전반에 걸친 QualIT의 평균 TC 및 TD는 각각 64.4%와 93.7%로 두 베이스라인보다 높다.
• 인간 평가자는 QualIT 출력의 ground-truth 주제 매핑에 더 높은 일치를 보였으며, 벤치마크 방법보다 일치도가 높았다.
• QualIT의 출력은 인간에게 덜 모호한 편이었고, 평가자 간 주제 범주화의 일치도가 더 높았다.