[论文解读] CWTM: Leveraging Contextualized Word Embeddings from BERT for Neural Topic Modeling

Zheng Fang, Yulan He+1 more|arXiv (Cornell University)|May 16, 2023

Topic Modeling被引用 4

一句话总结

本文提出CWTM，一种新颖的神经主题模型，利用BERT生成的上下文嵌入来学习文档级和词级主题向量，而无需依赖词袋（BOW）表示。通过直接将BERT的上下文嵌入映射到潜在主题，CWTM在主题一致性与未登录词（OOV）处理方面表现更优，相较于LDA及其他神经主题模型，在多个数据集上均表现更佳。

ABSTRACT

Most existing topic models rely on bag-of-words (BOW) representation, which limits their ability to capture word order information and leads to challenges with out-of-vocabulary (OOV) words in new documents. Contextualized word embeddings, however, show superiority in word sense disambiguation and effectively address the OOV issue. In this work, we introduce a novel neural topic model called the Contextlized Word Topic Model (CWTM), which integrates contextualized word embeddings from BERT. The model is capable of learning the topic vector of a document without BOW information. In addition, it can also derive the topic vectors for individual words within a document based on their contextualized word embeddings. Experiments across various datasets show that CWTM generates more coherent and meaningful topics compared to existing topic models, while also accommodating unseen words in newly encountered documents.

研究动机与目标

• 为解决传统主题模型依赖词袋（BOW）表示所导致的局限性，如忽略词序信息及在处理未登录词（OOV）时表现不佳的问题。
• 将BERT的上下文嵌入整合到主题建模中，以捕捉上下文相关的语义信息并提升主题质量。
• 开发一种可直接从上下文嵌入学习文档级与词级主题向量的模型，避免对BOW表示的依赖。
• 通过命名实体识别（NER）等下游NLP任务，评估所学词-主题向量的语义意义。
• 证明该模型在新文档中面对未登录词时具备鲁棒性。

提出的方法

• CWTM通过可学习的投影层将每个词的BERT上下文嵌入映射到潜在主题向量。
• 通过词-主题向量的加权平均池化操作生成文档级主题向量。
• 采用端到端训练策略，使用重建损失来保留上下文嵌入与所学主题向量之间的关系。
• 在训练过程中联合优化词-主题向量与文档-主题向量，实现词级与文档级主题结构的联合推断。
• 该模型不依赖BOW表示作为输入，仅使用原始文本与BERT生成的上下文嵌入。
• 通过将CWTM所学的词-主题向量与BERT最后一层嵌入拼接，评估下游任务（如NER）的表现。

实验结果

研究问题

• RQ1 是否能够通过绕过词袋表示、改用BERT生成的上下文嵌入的神经主题模型，生成更一致且更有意义的主题？
• RQ2 与传统主题模型相比，该模型在多大程度上缓解了未登录词（OOV）问题？
• RQ3 所学的词-主题向量是否具有语义意义，并在下游NLP任务中有实际效用？
• RQ4 在主题一致性与文档分类性能方面，该模型相较于LDA及其他神经主题模型表现如何？
• RQ5 该模型在包含不同OOV比例的文档中是否保持一致的性能表现？

主要发现

• 在五个基准数据集上，CWTM的主题一致性得分均高于LDA及其他神经主题模型，C_V平均提升0.093，UCI平均提升0.163。
• 在OOV鲁棒性测试中，CWTM在Test1（≥90%为已见词）与Test2（≤70%为已见词）之间的准确率差异最小（0.021±0.005），表明其对未见词具有更强的处理能力。
• 在CoNLL2003 NER任务中，将BERT嵌入与CWTM的词-主题向量结合后，F1分数从0.814提升至0.828，且t检验结果具有统计显著性（t = -3.75，p = 0.003）。
• 该模型在不同数据集上均表现稳定，在已见词与OOV密集型测试集上的文档分类任务中均优于基线模型。
• CWTM所学的词-主题向量被证实具有语义意义，其在下游NER任务中的正向影响提供了有力证据。
• CWTM成功消除了对BOW表示的依赖，同时保持或提升了主题建模性能。