[论文解读] Scalable Dynamic Topic Modeling with Clustered Latent Dirichlet Allocation (CLDA)

Chris Gropp, Alexander Herzog+3 more|arXiv (Cornell University)|Oct 25, 2016

Topic Modeling参考文献 36被引用 8

一句话总结

本文提出聚类潜在狄利克雷分配（CLDA），一种可扩展的并行主题建模方法，通过时间或其它标准对文本数据进行分段，独立地对每一段应用LDA，并将局部主题聚类为全局主题。CLDA的运行时间比动态主题模型（DTM）快两个数量级，同时保持相近的困惑度，并支持动态主题演化，包括主题的出现、消失和分支。

ABSTRACT

Topic modeling, a method for extracting the underlying themes from a collection of documents, is an increasingly important component of the design of intelligent systems enabling the sense-making of highly dynamic and diverse streams of text data. Traditional methods such as Dynamic Topic Modeling (DTM) do not lend themselves well to direct parallelization because of dependencies from one time step to another. In this paper, we introduce and empirically analyze Clustered Latent Dirichlet Allocation (CLDA), a method for extracting dynamic latent topics from a collection of documents. Our approach is based on data decomposition in which the data is partitioned into segments, followed by topic modeling on the individual segments. The resulting local models are then combined into a global solution using clustering. The decomposition and resulting parallelization leads to very fast runtime even on very large datasets. Our approach furthermore provides insight into how the composition of topics changes over time and can also be applied using other data partitioning strategies over any discrete features of the data, such as geographic features or classes of users. In this paper CLDA is applied successfully to seventeen years of NIPS conference papers (2,484 documents and 3,280,697 words), seventeen years of computer science journal abstracts (533,560 documents and 32,551,540 words), and to forty years of the PubMed corpus (4,025,978 documents and 273,853,980 words).

研究动机与目标

• 解决动态主题模型（DTM）的可扩展性限制，后者存在顺序依赖性和并行化能力差的问题。
• 通过在时间或其他离散数据分区上解耦主题建模，实现对大规模动态文本语料（如科学出版物）的高效分析。
• 同时提供全局主题趋势和局部主题变化，比DTM更灵活地捕捉主题演化、出现和分裂。
• 证明通过数据分解和聚类，主题建模可以被有效并行化，从而在大数据上实现高性能。
• 将主题建模从基于时间的分段扩展到其他特征，如期刊、地理区域或用户类别。

提出的方法

• 根据时间、期刊或其他离散特征（如地理位置或数据源）将输入语料离散化为互不重叠的段落。
• 对每个段落独立应用高度并行化的LDA变体（PLDA+），以生成局部主题模型。
• 收集所有段落中的局部主题，并应用并行k-means聚类，将相似的局部主题聚合成全局主题。
• 通过其聚类中心表示每个全局主题，以保持跨段落的主题一致性。
• 利用生成的全局主题追踪主题比例、演化及结构变化（如分裂或合并），时间或特征维度上均适用。
• 利用现有的PLDA+和k-means并行实现，确保在大规模数据集上的高可扩展性和高性能。

实验结果

研究问题

• RQ1 在保持动态主题演化和全局一致性的同时，能否有效并行化主题建模？
• RQ2 与DTM和LDA相比，CLDA在运行时间、困惑度和主题相似性方面的性能和主题质量如何？
• RQ3 CLDA在多大程度上能够捕捉DTM无法灵活建模的主题动态，如主题的出现、消失和分支？
• RQ4 CLDA能否在同一语料上应用于多种分段策略（如时间与期刊）以揭示主题演化不同维度？
• RQ5 CLDA生成的全局主题在不同参数设置或聚类配置下是否具有稳定性？

主要发现

• 在大规模语料（包括超过400万篇文档的PubMed语料）上，CLDA的运行时间比原始DTM实现快两个数量级。
• CLDA保持了与DTM和PLDA相当的困惑度水平，表明其生成模型质量优异。
• CLDA生成的主题在语义内容上与DTM和LDA的主题总体相似，证实了模型的有效性。
• 与DTM相比，CLDA能够更丰富地建模主题动态，允许每个全局主题在每一段中拥有零个、一个或多个局部主题代表，从而捕捉主题的出现和分裂。
• CLDA成功地在时间与基于期刊的分段中建模了主题演化，揭示了如“计算机网络”这类广泛主题内的不同子领域。
• 该方法通过适用于时间以外的多种数据分区策略（如期刊、地理位置或用户类别），展示了可扩展性和灵活性。