[论文解读] BERTopic: Neural topic modeling with a class-based TF-IDF procedure

Maarten Grootendorst|arXiv (Cornell University)|Mar 11, 2022

Topic Modeling被引用 1,276

一句话总结

BERTopic 将文档嵌入、降维和基于类别的 TF-IDF 相结合，从聚类的嵌入中产生连贯的主题表示，在不同数据集和语言模型上展现出具有竞争力的性能。

ABSTRACT

Topic models can be useful tools to discover latent topics in collections of documents. Recent studies have shown the feasibility of approach topic modeling as a clustering task. We present BERTopic, a topic model that extends this process by extracting coherent topic representation through the development of a class-based variation of TF-IDF. More specifically, BERTopic generates document embedding with pre-trained transformer-based language models, clusters these embeddings, and finally, generates topic representations with the class-based TF-IDF procedure. BERTopic generates coherent topics and remains competitive across a variety of benchmarks involving classical models and those that follow the more recent clustering approach of topic modeling.

研究动机与目标

• 通过语义嵌入来驱动主题建模，以克服 bag-of-words 的局限性。
• 引入一个灵活的三步 BERTopic 流程：嵌入、聚类和主题表示。
• 提出并验证一个基于类别的 TF-IDF (c-TF-IDF) 用于主题词分布。
• 展示跨数据集和语言模型的鲁棒性与灵活性，包括动态主题建模能力。

提出的方法

• 使用预训练语言模型（SBERT 变体）生成文档嵌入。
• 在使用 HDBSCAN 进行聚类之前，使用 UMAP 降低嵌入维数。
• 通过对被视为拼接文档的聚类应用基于类别的 TF-IDF (c-TF-IDF) 来创建主题表示。
• 迭代地合并 c-TF-IDF 表达以达到用户指定的主题数量。
• 可选地通过使用 c-TF-IDF 矩阵生成全局主题和局部时间步表示来建模动态主题。

实验结果

研究问题

• RQ1 BERTopic 是否能够在使用多种嵌入模型的情况下，在不同数据集上产生连贯且多样的主题？
• RQ2 将嵌入/聚类与主题表示分离是否提升主题建模的鲁棒性和灵活性？
• RQ3 基于类别的 TF-IDF 是否能够提供反映聚类语义的有意义的主题–词分布？
• RQ4 与传统动态主题模型相比，BERTopic 在动态/主题演化情境下的表现如何？

主要发现

• BERTopic 在跨数据集上产生高主题连贯性，并在主题多样性方面保持竞争力。
• BERTopic 的表现对不同语言模型保持稳定，小模型在速度–性能权衡上具有优势。
• 在动态主题建模中，BERTopic 无论是否采用线性演化假设都表现良好，演化假设的影响有限。
• 在排除某些明显慢的基线时，BERTopic 可以比某些神经模型更快，并且速度随嵌入模型的选择而变化。
• 将嵌入、聚类和主题表示分离，能够实现如在不重新聚类的情况下更新表示等灵活性。