[论文解读] Improving Reliability of Latent Dirichlet Allocation by Assessing Its Stability Using Clustering Techniques on Replicated Runs

Jonas Rieger, Lars Koppers+2 more|arXiv (Cornell University)|Feb 14, 2020

Topic Modeling参考文献 12被引用 7

一句话总结

本文提出S-CLOP，一种用于潜在狄利克雷分配（LDA）的新稳定性度量方法，通过使用改进的雅可比系数和带有局部剪枝的层次聚类，在多次LDA运行之间评估相似性，从而提升模型的可靠性。其主要贡献是一种原型选择方法——选择与所有其他运行最相似的LDA运行——显著增强了可重现性和可解释性，尤其在对复杂语料库使用50次以上重复运行时效果显著。

ABSTRACT

For organizing large text corpora topic modeling provides useful tools. A widely used method is Latent Dirichlet Allocation (LDA), a generative probabilistic model which models single texts in a collection of texts as mixtures of latent topics. The assignments of words to topics rely on initial values such that generally the outcome of LDA is not fully reproducible. In addition, the reassignment via Gibbs Sampling is based on conditional distributions, leading to different results in replicated runs on the same text data. This fact is often neglected in everyday practice. We aim to improve the reliability of LDA results. Therefore, we study the stability of LDA by comparing assignments from replicated runs. We propose to quantify the similarity of two generated topics by a modified Jaccard coefficient. Using such similarities, topics can be clustered. A new pruning algorithm for hierarchical clustering results based on the idea that two LDA runs create pairs of similar topics is proposed. This approach leads to the new measure S-CLOP ({\bf S}imilarity of multiple sets by {\bf C}lustering with {\bf LO}cal {\bf P}runing) for quantifying the stability of LDA models. We discuss some characteristics of this measure and illustrate it with an application to real data consisting of newspaper articles from extit{USA Today}. Our results show that the measure S-CLOP is useful for assessing the stability of LDA models or any other topic modeling procedure that characterize its topics by word distributions. Based on the newly proposed measure for LDA stability, we propose a method to increase the reliability and hence to improve the reproducibility of empirical findings based on topic modeling. This increase in reliability is obtained by running the LDA several times and taking as prototype the most representative run, that is the LDA run with highest average similarity to all other runs.

研究动机与目标

• 为解决由于随机初始化和吉布斯采样导致的LDA固有不稳定性，避免多次运行间结果不可重现的问题。
• 开发一种定量度量方法，用于评估在多次重复运行中LDA主题模型的稳定性。
• 通过从多次运行中选择一个代表性原型模型，提升主题建模经验发现的可靠性和可重现性。
• 为研究人员提供一个实用框架，通过系统性重复和基于相似性的模型选择，增强对LDA结果的信心。

提出的方法

• 在相同语料库上使用相同超参数执行多次独立的LDA运行，以生成重复的主题模型。
• 使用针对词分布比较而定制的改进雅可比系数，计算运行之间的成对主题相似性。
• 对相似性矩阵执行层次聚类，并应用一种新颖的局部剪枝算法，识别出不同运行间具有高相似性的主题对。
• 利用聚类结果定义S-CLOP度量，该度量量化某一模型与集合中所有其他模型的平均相似性。
• 将原型模型选为与所有其他运行平均相似性最高的模型，以确保更高的稳定性和代表性。
• 在一份真实的《今日美国》报纸文章语料上验证该方法，比较不同重复次数（10至100次）下的稳定性。

实验结果

研究问题

• RQ1 在相同文本语料上进行多次独立运行时，LDA主题模型的稳定性如何变化？
• RQ2 基于相似性的聚类方法能否有效识别出重复LDA运行中的一致主题结构？
• RQ3 增加LDA重复运行的次数对最终主题模型的可靠性和稳定性有何影响？
• RQ4 如何从多次运行中选择一个代表性原型模型，以提升可重现性和可解释性？
• RQ5 所提出的S-CLOP度量在识别稳定可靠的主题模型方面，与随机选择相比优势有多大？

主要发现

• 在100次重复的LDA运行中，最小平均相似度为0.796，当使用至少50次重复时上升至0.862。
• 在100次运行中，最大平均相似度达到0.877，当使用50次以上重复时上升至0.895，表明更多运行可提升稳定性。
• 即使仅使用10次重复，选择原型模型也将最小和最大平均相似度分别提升至0.842和0.880，显示出在计算资源有限时仍具有显著增益。
• 随机选择的模型（如Run4，平均相似度为0.807）可能显著不穩定，凸显了缺乏重复运行可能导致误读的风险。
• 通过S-CLOP选择的原型模型在与所有其他模型的平均相似度上始终优于单个运行，例如在原型集中的Run1达到0.902的相似度。
• 树状图分析证实，随机选择可能导致难以解释的模型，而基于S-CLOP的原型方法能有效识别出稳健且稳定的主题结构。