[논문 리뷰] Large Language Models Offer an Alternative to the Traditional Approach of Topic Modelling

Yida Mu, Chun Dong외 2명|arXiv (Cornell University)|2024. 03. 24.

Computational and Text Analysis Methods인용 수 11

한 줄 요약

이 논문은 대형 언어 모델(LLMs)이 대형 말뭉치에서 주제를 직접 추출하고 요약할 수 있는지 평가하고, GPT-3.5와 LLaMA-2-7B를 LDA 및 BERTopic과 비교하며, 프롬프트 구성, 시드, 요약을 통해 사람이 해석할 수 있는 주제와 평가 지표를 산출하는지 살펴본다.

ABSTRACT

Topic modelling, as a well-established unsupervised technique, has found extensive use in automatically detecting significant topics within a corpus of documents. However, classic topic modelling approaches (e.g., LDA) have certain drawbacks, such as the lack of semantic understanding and the presence of overlapping topics. In this work, we investigate the untapped potential of large language models (LLMs) as an alternative for uncovering the underlying topics within extensive text corpora. To this end, we introduce a framework that prompts LLMs to generate topics from a given set of documents and establish evaluation protocols to assess the clustering efficacy of LLMs. Our findings indicate that LLMs with appropriate prompts can stand out as a viable alternative, capable of generating relevant topic titles and adhering to human guidelines to refine and merge topics. Through in-depth experiments and evaluation, we summarise the advantages and constraints of employing LLMs in topic extraction.

연구 동기 및 목표

• 개방 도메인 및 도메인 특정 말뭉치를 대상으로 LLM을 클래식한 주제 모델링의 플러그 앤 플레이 대안으로 활용하도록 동기를 부여한다.
• 프롬프트 기법을 포함한 제약 조건과 시드를 조사하여 LLM이 보다 세밀하고 인간이 해석 가능한 주제로 안내되도록 한다.
• 주제의 품질, 세분성, 인간 기대와의 정합성을 평가하는 평가 프로토콜을 개발한다.
• 백신 주저에 대한 시계열 분석 사례 연구를 제시하여 동적 주제 추출 및 요약 능력을 시연한다.
• 다양한 데이터 세트에서 LLM 구동 주제 추출과 전통적 방법(LDA, BERTopic)의 비교를 수행한다.

제안 방법

• 문서 집합에서 주제 추출을 위해 기본 LLM으로 GPT-3.5와 LLaMA-2-7B를 사용한다.
• 시스템 및 사용자 메시지로 주제 목록을 생성하도록 프롬프트를 구성하고, 기본 제공 옵션, 제약 조건, 수동 후처리를 탐색한다.
• 세분화를 조정하고 주제 겹침을 줄이기 위해 시드 주제를 도입한다.
• 설명과 함께 최종 Top-N 목록으로 주제를 병합하고 요약하는 단계을 적용한다.
• 시스템 주제 거리(Jaccard) 및 의미적 세분성(BERT 코사인 유사도)과 시드 주제에 대한 재현율/정밀도 등 평가 지표를 제안한다.
• COVID-19 백신 주저에 대한 트위터 데이터의 시계열 분석 사례 연구를 제공하여 시간에 따른 역학을 설명한다.

Figure 1: Example prompts for LLaMA. Text enclosed by the special tokens ‘ $\ll$ SYS $\gg$ ’ is designated as a system prompt.

실험 결과

연구 질문

• RQ1 LLMs가 고전적 주제 모델링 전처리 없이 원시 텍스트로부터 의미있고 인간이 해석할 수 있는 주제를 직접 생성할 수 있는가?
• RQ2 프롬프트 전략(기본 프롬프트, 시드, 요약)이 개방 도메인 및 도메인 특화 코퍼스에서 주제 품질과 세분성에 어떤 영향을 미치는가?
• RQ3 LLM 생성 주제의 품질, 구별성, 세분성을 가장 잘 포착하는 평가 지표는 무엇인가?
• RQ4 동적 코퍼스에서(예: 시계열 트위터 데이터) 전통적 모델 재실행 없이 LLM이 변화하는 주제에 적응할 수 있는가?

주요 결과

• 적절한 프롬프트와 제약 조건에 의해 LLM은 해석 가능하고 인간 기대와 일치하는 주제를 생성할 수 있다.
• 시드 주제는 데이터 세트와 LLM에 관계없이 주제 추출의 품질과 세분성을 일관되게 향상시킨다.
• 최종 Top-N 요약 단계는 대부분의 원래 범주를 포괄하고 설명을 제공하는 간결하고 대표적인 주제 집합을 산출한다.
• 평가 지표는 최종 주제 목록이 대체로 서로 구별되어(낮은 중복) 더 큰 Top-N 세트에서 의미론적 세분성이 증가함을 보여준다.
• 시계열 백신 주저 사례 연구에서, LLM은 시간이 지남에 따라 변화하는 주제를 추출하고 설명적 분석(GPT-4 설명 등)을 생성하는 능력을 보여준다.

Figure 2: Two examples of final topics summarised by LLMs, namely ‘Technology & Computers’ (20NG) and ‘Trust & Mistrust’ (Vaccine dataset).