[논문 리뷰] ANTM: An Aligned Neural Topic Model for Exploring Evolving Topics

Hamed Rahimi, Hubert Naacke외 2명|arXiv (Cornell University)|2023. 02. 03.

Topic Modeling인용 수 4

한 줄 요약

ANTM는 시간에 민감한 LLM 임베딩과 중첩 슬라이딩 윈도우를 사용하여 순차적 클러스터링을 수행하는 새로운 알고리즘적 동적 토픽 모델이다. 이는 시간에 따라 변화하는 토픽 수를 반영하여 진화하는 토픽을 탐지한다. 의미적으로 유사한 클러스터를 기간 간에 정렬하여 주제의 일관성과 다양성을 향상시키며, BERTopic과 DETM와 같은 최신 기술 모델을 초월하여 네 가지 데이터셋에서 뛰어난 성능을 보였다. ANTM-Data2Vec가 가장 높은 주제 품질 점수를 기록했다.

ABSTRACT

This paper presents an algorithmic family of dynamic topic models called Aligned Neural Topic Models (ANTM), which combine novel data mining algorithms to provide a modular framework for discovering evolving topics. ANTM maintains the temporal continuity of evolving topics by extracting time-aware features from documents using advanced pre-trained Large Language Models (LLMs) and employing an overlapping sliding window algorithm for sequential document clustering. This overlapping sliding window algorithm identifies a different number of topics within each time frame and aligns semantically similar document clusters across time periods. This process captures emerging and fading trends across different periods and allows for a more interpretable representation of evolving topics. Experiments on four distinct datasets show that ANTM outperforms probabilistic dynamic topic models in terms of topic coherence and diversity metrics. Moreover, it improves the scalability and flexibility of dynamic topic models by being accessible and adaptable to different types of algorithms. Additionally, a Python package is developed for researchers and scientists who wish to study the trends and evolving patterns of topics in large-scale textual data.

연구 동기 및 목표

• 고정된 주제 수를 가진 동적 주제 모델이 시간에 따라 주제의 출현과 소멸을 포착하지 못하는 한계를 해결하기 위해.
• 소셜 미디어 모니터링과 같은 짧은 텍스트 응용 분야에서 동적 주제 모델의 확장성과 해석 가능성 향상을 위해.
• 다양한 알고리즘과 LLM 기반 특징 추출을 지원하는 모듈러하고 유연한 프레임워크를 개발하기 위해.
• 각 시간 프리셋에서 주제 수를 변동시켜 실제 주제의 진화를 보다 정확히 반영하기 위해.
• 시간 윈도우 간에 의미적으로 유사한 클러스터를 정렬하여 주제 품질을 향상시키기 위해.

제안 방법

• 시간에 민감한 문서 벡터 표현을 생성하기 위해 사전 학습된 대규모 언어 모델(Large Language Models, LLMs)을 활용한다.
• 시간적 문서 스트림을 시간 프레임으로 분할하기 위해 중첩 슬라이딩 윈도우 알고리즘을 적용한다.
• 각 시간 프레임 내에서 의미적 유사도를 기반으로 순차적 문서 클러스터링을 수행하며, 각 기간에 대해 변동 가능한 주제 수를 허용한다.
• 벡터 유사도를 사용해 연속된 시간 프레임 간에 의미적으로 유사한 클러스터를 정렬함으로써 주제의 연속성을 유지한다.
• 각 정렬된 클러스터 세트에 대해 단어 표현을 생성하여 해석 가능한 진화하는 주제 모델을 도출한다.
• 다양한 LLM과 클러스터링 알고리즘을 통합함으로써 모듈성을 확보하여 다양한 데이터 유형에 적응 가능하도록 한다.

실험 결과

연구 질문

• RQ1 주제 수가 시간 프리셋 간에 변동할 때, 동적 주제 모델이 주제의 진화를 효과적으로 포착할 수 있는가?
• RQ2 시간에 걸쳐 의미적으로 유사한 클러스터를 정렬함으로써 주제의 일관성과 다양성은 어떻게 향상되는가?
• RQ3 전통적인 확률 모델에 비해 LLM 기반의 시간에 민감한 임베딩은 주제 모델의 품질을 얼마나 향상시키는가?
• RQ4 알고리즘 기반 동적 주제 모델은 짧은 텍스트 데이터에서 확률 모델 대비 더 뛰어난 확장성과 해석 가능성 성능을 보일 수 있는가?
• RQ5 전역 클러스터링에 비해 중첩 슬라이딩 윈도우 접근 방식은 시간적 주제 역학을 얼마나 잘 유지하는가?

주요 결과

• ANTM-Data2Vec는 DBLP 및 arXiv 데이터셋에서 BERTopic과 DETM를 모두 압도하며 가장 높은 주제 품질 점수를 기록했다.
• arXiv 데이터셋에서 ANTM-Data2Vec는 ANTM-BERT와 BERTopic보다 20% 높은 일관성 점수를 기록했고, DETM보다 15% 낮았다.
• ANTM-Data2Vec는 DETM의 주제보다 25% 더 다양했으며, BERTopic보다 약 10% 덜 다양했다.
• 정렬된 클러스터링 방법은 전역 클러스터링 접근 방식보다 더 많은 정보를 유지했고, 더 기술적인 시간 주제 표현을 제공했다.
• ANTM는 각 시간 프레임에서 주제 수를 변동시킴으로써 주제의 출현과 소멸을 포착함으로써 뛰어난 해석 가능성을 보였다.
• 모델은 뛰어난 확장성과 적응성을 보였으며, 소셜 미디어 분석과 같은 대규모 및 짧은 텍스트 응용 분야에 적합했다.