[논문 리뷰] BERTopic: Neural topic modeling with a class-based TF-IDF procedure

Maarten Grootendorst|arXiv (Cornell University)|2022. 03. 11.

Topic Modeling인용 수 1,276

한 줄 요약

BERTopic은 문서 임베딩, 차원 축소, 그리고 클래스 기반 TF-IDF를 결합하여 군집화된 임베딩으로부터 일관된 주제 표현을 생성하고, 데이터셋 및 언어 모델 전반에서 경쟁력 있는 성능을 보입니다.

ABSTRACT

Topic models can be useful tools to discover latent topics in collections of documents. Recent studies have shown the feasibility of approach topic modeling as a clustering task. We present BERTopic, a topic model that extends this process by extracting coherent topic representation through the development of a class-based variation of TF-IDF. More specifically, BERTopic generates document embedding with pre-trained transformer-based language models, clusters these embeddings, and finally, generates topic representations with the class-based TF-IDF procedure. BERTopic generates coherent topics and remains competitive across a variety of benchmarks involving classical models and those that follow the more recent clustering approach of topic modeling.

연구 동기 및 목표

• 의미 기반 임베딩으로 토픽 모델링의 한계를 극복하려는 동기 부여.
• 임베딩, 클러스터링, 주제 표현의 유연한 3단계 BERTopic 파이프라인 도입: 임베딩, 클러스터링, 주제 표현.
• 주제 단어 분포를 위한 클래스 기반 TF-IDF (c-TF-IDF) 제안 및 검증.
• 동적 토픽 모델링 기능을 포함하여 데이터셋 및 언어 모델 전반에 걸친 견고성과 유연성 입증.

제안 방법

• 사전 학습된 언어 모델(SBERT 변형)을 사용하여 문서 임베딩 생성.
• 클러스터링 전에 UMAP으로 임베딩 차원 축소.
• 클러스터를 연결된 문서로 처리한 것처럼 취급하여 c-TF-IDF를 적용해 주제 표현 생성.
• 사용자가 지정한 주제 수에 도달하도록 c-TF-IDF 표현을 반복적으로 병합.
• 선택적으로 c-TF-IDF 행렬을 사용해 전역 주제를 생성하고 로컬 타임스텝 표현을 사용하여 동적 주제를 모델링.

실험 결과

연구 질문

• RQ1 BERTopic이 다양한 임베딩 모델을 사용해도 다양한 데이터셋에서 일관되고 다양한 주제를 생성할 수 있는가?
• RQ2 임베딩/클러스터링과 주제 표현을 분리하면 토픽 모델링의 견고성과 유연성이 향상되는가?
• RQ3 클래스 기반 TF-IDF가 클러스터 의미를 반영하는 의미 있는 주제-단어 분포를 제공하는가?
• RQ4 전통적인 동적 토픽 모델과 비교하여 BERTopic은 동적/주제 진화 시나리오에서 어떤 성능을 보이는가?

주요 결과

• BERTopic은 데이터셋 전반에서 높은 주제 일관성을 보이며 주제 다양성에서도 경쟁력을 유지한다.
• 다양한 언어 모델에서 BERTopic의 성능은 안정적이며, 더 작은 모델이 속도-성능 균형에 우호적일 수 있다.
• 동적 토픽 모델링에서 선형 진화 가정의 유무에 관계없이 BERTopic은 잘 작동하며 진화 가정의 영향이 제한적이다.
• 일부 느린 베이스라인을 제외하면 BERTopic이 일부 신경망 모델보다 빠를 수 있으며, 속도는 임베딩 모델 선택에 따라 확장된다.
• 임베딩, 클러스터링, 주제 표현을 분리하면 표현을 재클러스터링 없이도 업데이트하는 등 유연성을 제공한다.