[论文解读] ANTM: An Aligned Neural Topic Model for Exploring Evolving Topics

Hamed Rahimi, Hubert Naacke+2 more|arXiv (Cornell University)|Feb 3, 2023

Topic Modeling被引用 4

一句话总结

ANTM 是一种新颖的算法动态主题模型，利用时间感知的 LLM 嵌入和重叠滑动窗口进行序列聚类，以发现随时间演变且主题数量可变的主题。通过在不同时期对语义相似的聚类进行对齐，提升了主题的一致性和多样性，在四个数据集上优于最先进的模型（如 BERTopic 和 DETM），其中 ANTM-Data2Vec 达到了最高的主题质量得分。

ABSTRACT

This paper presents an algorithmic family of dynamic topic models called Aligned Neural Topic Models (ANTM), which combine novel data mining algorithms to provide a modular framework for discovering evolving topics. ANTM maintains the temporal continuity of evolving topics by extracting time-aware features from documents using advanced pre-trained Large Language Models (LLMs) and employing an overlapping sliding window algorithm for sequential document clustering. This overlapping sliding window algorithm identifies a different number of topics within each time frame and aligns semantically similar document clusters across time periods. This process captures emerging and fading trends across different periods and allows for a more interpretable representation of evolving topics. Experiments on four distinct datasets show that ANTM outperforms probabilistic dynamic topic models in terms of topic coherence and diversity metrics. Moreover, it improves the scalability and flexibility of dynamic topic models by being accessible and adaptable to different types of algorithms. Additionally, a Python package is developed for researchers and scientists who wish to study the trends and evolving patterns of topics in large-scale textual data.

研究动机与目标

• 解决固定主题数量的动态主题模型无法捕捉主题随时间出现和消退的局限性。
• 提升动态主题模型在社交媒体监控等短文本应用中的可扩展性和可解释性。
• 开发一种模块化、灵活的框架，支持多种算法和基于 LLM 的特征提取。
• 实现每个时间周期的主题数量可变，更准确地反映现实世界中主题的演变。
• 通过在时间窗口之间对齐语义相似的聚类，提升主题质量。

提出的方法

• 利用预训练的大语言模型（LLMs）生成时间感知的文档向量表示。
• 应用重叠滑动窗口算法，将时间序列文档流划分为时间帧以进行聚类。
• 在每个时间帧内使用语义相似性执行序列文档聚类，允许每个周期的主题数量可变。
• 利用向量相似性在连续时间帧之间对齐语义相似的聚类，以保持主题的连续性。
• 为每个对齐的聚类集合生成词向量表示，以生成可解释的、演化的主题模型。
• 通过集成多种 LLM 和聚类算法，支持模块化设计，实现对不同类型数据的适应性。

实验结果

研究问题

• RQ1 当主题数量在不同时期变化时，动态主题模型能否有效捕捉主题的演变？
• RQ2 在时间上对齐语义相似的聚类在多大程度上提升了主题的一致性和多样性？
• RQ3 与传统概率模型相比，基于 LLM 的时间感知嵌入在多大程度上提升了主题模型的质量？
• RQ4 在短文本数据上，算法型动态主题模型是否相比概率型模型展现出更好的可扩展性和可解释性？
• RQ5 重叠滑动窗口方法与全局聚类相比，在保持时间主题动态方面表现如何？

主要发现

• 在 DBLP 和 arXiv 数据集上，ANTM-Data2Vec 的主题质量得分最高，优于 BERTopic 和 DETM。
• 在 arXiv 数据集上，ANTM-Data2Vec 生成的主题一致性比 ANTM-BERT 和 BERTopic 高 20%，比 DETM 低 15%。
• ANTM-Data2Vec 生成的主题多样性比 DETM 高 25%，比 BERTopic 低约 10%。
• 对齐聚类方法比全局聚类方法保留了更多信息，并提供了更具描述性的时序主题表示。
• ANTM 通过在每个时间帧中采用可变的主题数量，成功捕捉了主题的出现与消退，展现出优越的可解释性。
• 该模型表现出强大的可扩展性和适应性，适用于大规模和短文本应用，如社交媒体分析。