[논문 리뷰] Experiments on Generalizability of BERTopic on Multi-Domain Short Text

Muriël de Groot, Mohammad Aliannejadi외 1명|arXiv (Cornell University)|2022. 12. 16.

Text and Document Classification Technologies인용 수 11

한 줄 요약

이 논문은 대학 수업 평가에서 다중 도메인 단문 텍스트에 대해 BERTopic의 성능을 평가하며, 주제 일관성과 다양성 측면에서 LDA를 능가함을 발견한다. 그러나 BERTopic의 기본 HDBSCAN 군집화는 문서의 74%를 이질점으로 간주하여 기각하므로, 저자는 이를 k-Means로 대체하여 모든 문서를 유지하면서도 뛰어난 성능과 단문 텍스트에 대한 강건성을 확보하는 것을 제안한다.

ABSTRACT

Topic modeling is widely used for analytically evaluating large collections of textual data. One of the most popular topic techniques is Latent Dirichlet Allocation (LDA), which is flexible and adaptive, but not optimal for e.g. short texts from various domains. We explore how the state-of-the-art BERTopic algorithm performs on short multi-domain text and find that it generalizes better than LDA in terms of topic coherence and diversity. We further analyze the performance of the HDBSCAN clustering algorithm utilized by BERTopic and find that it classifies a majority of the documents as outliers. This crucial, yet overseen problem excludes too many documents from further analysis. When we replace HDBSCAN with k-Means, we achieve similar performance, but without outliers.

연구 동기 및 목표

• 다양한 단문 텍스트 도메인, 예를 들어 여러 학문 분야의 대학 수업 평가 자료에 대해 BERTopic의 일반화 능력을 평가하는 것.
• 단문, 다중 도메인 텍스트에서 주제 일관성과 다양성 측면에서 BERTopic의 성능을 기준 모델인 LDA와 비교하는 것.
• HDBSCAN의 이질점 탐지 기능이 실제 응용에서 모든 문서를 분석해야 하는 환경에서 모델의 유용성에 어떤 영향을 미치는지 조사하는 것.
• HDBSCAN 대체로 k-Means를 제안하고, 이의 성능을 평가하여 이질점 기각을 제거하면서도 성능을 유지하는지 확인하는 것.

제안 방법

• 연구는 5개의 대학 학부에서 온 62,522개의 단문 학생 응답 코퍼스를 대상으로 BERTopic에 HDBSCAN 군집화를 적용하고, LDA 및 BERTopic에 k-Means 군집화를 비교한다.
• 주제 일관성은 정규화된 점별 상호정보량(NPMI)을 사용하여 측정하고, 주제 다양성은 모든 주제의 상위-n 단어들에서 고유 단어의 비율로 계산한다.
• 실험은 학부별 별도 코퍼스와 통합된 대학 전역 코퍼스를 대상으로 수행되어 확장성과 도메인 일반화 능력을 평가한다.
• 추가 실험은 20NG 데이터셋을 사용하여 단문(중간 길이 16단어) 및 장문(60–100단어) 문서 샘플을 대상으로 수행되어 문서 길이에 대한 민감도를 평가한다.
• HDBSCAN의 이질점 탐지는 다양한 코퍼스에서 이질점으로 분류된 문서 비율을 측정하여 정량화한다.
• k-Means 변형은 BERTopic 파이프라인에서 HDBSCAN을 대체하여 이질점 없는 군집화가 성능을 유지하거나 향상시키는지 평가한다.

실험 결과

연구 질문

• RQ1 BERTopic은 대학 수업 평가와 같은 다양한 단문 텍스트 도메인에서 LDA보다 더 잘 일반화되는가?
• RQ2 HDBSCAN의 이질점 탐지 기능은 실제 단문 텍스트 응용에서 BERTopic의 유용성에 얼마나 심각한 영향을 미치는가?
• RQ3 문서 길이가 LDA, BERTopic(HDBSCAN) 및 BERTopic(k-Means)의 성능에 어떤 영향을 미치는가?
• RQ4 k-Means는 주제 일관성과 다양성을 포기하지 않고도 HDBSCAN의 실질적 대안이 될 수 있는가?
• RQ5 군집 알고리즘 선택이 대학 전역 주제 모델링 환경에서 BERTopic의 확장성과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• BERTopic(HDBSCAN)은 대학 전역 코퍼스에서 주제 일관성 0.091과 주제 다양성 0.880을 기록하여, LDA의 일관성 0.031과 다양성 0.718보다 유의미하게 뛰어나다.
• HDBSCAN은 수업 평가 응답의 74%를 이질점으로 분류하여, 뛰어난 일관성과 다양성 점수에도 불구하고 실용적 유용성이 심각하게 제한된다.
• BERTopic k-Means 변형은 일관성 0.032와 다양성 0.571를 유지하며 이질점이 전혀 발생하지 않아 포함 분석에 더 적합하다.
• LDA 및 BERTopic(HDBSCAN)에 비해 BERTopic k-Means는 단문 문서에 더 강건하며, 장문과 단문 문서 간 주제 다양성의 성능 저하가 δ = -0.001으로 매우 미미하다.
• BERTopic HDBSCAN은 도메인 간 일반화 능력이 뛰어나지만, BERTopic k-Means는 모든 문서를 유지하면서도 해석 가능성을 유지함으로써 실용적 트레이드오프를 제공한다.
• 이 연구는 평가 지표의 핵심 격차를 규명한다: 현재 표준 측정 지표 중 이질점 생성을 반영하는 것이 없으며, 이는 실제 환경에서 모델의 유용성에 중대한 영향을 미친다.