[论文解读] Large scale link based latent Dirichlet allocation for web document classification

István Bíró, Jácint Szabó|arXiv (Cornell University)|Jun 25, 2010

Text and Document Classification Technologies参考文献 31被引用 4

一句话总结

本文提出了一种新颖的关联潜在狄利克雷分配（LDA）模型，通过允许文档之间双向影响，将超链接结构整合到主题建模中，实现主题沿链接的传播。该模型引入了增强的吉布斯采样策略，实现5–10倍的速度提升，且准确率损失低于1%，在网页文档分类中相比标准LDA提升AUC 4%，相比tf.idf与SVM结合的方法提升18%。

ABSTRACT

In this paper we demonstrate the applicability of latent Dirichlet allocation (LDA) for classifying large Web document collections. One of our main results is a novel influence model that gives a fully generative model of the document content taking linkage into account. In our setup, topics propagate along links in such a way that linked documents directly influence the words in the linking document. As another main contribution we develop LDA specific boosting of Gibbs samplers resulting in a significant speedup in our experiments. The inferred LDA model can be applied for classification as dimensionality reduction similarly to latent semantic indexing. In addition, the model yields link weights that can be applied in algorithms to process the Web graph; as an example we deploy LDA link weights in stacked graphical learning. By using Weka's BayesNet classifier, in terms of the AUC of classification, we achieve 4% improvement over plain LDA with BayesNet and 18% over tf.idf with SVM. Our Gibbs sampling strategies yield about 5-10 times speedup with less than 1% decrease in accuracy in terms of likelihood and AUC of classification.

研究动机与目标

• 通过将超链接结构整合到主题建模中，超越单向引用模型，实现可扩展的大规模网页文档分类。
• 通过开发高效的吉布斯采样启发式方法，解决标准LDA在网页规模数据上的计算不可行问题。
• 证明链接感知的主题模型在分类性能上优于传统方法（如tf.idf和标准LDA）。
• 验证模型推断出的链接权重能够捕捉主题相似性，并在基于图的学习中提升性能。
• 提供一种灵活的非双分图影响模型，支持跨主题关系和可变的链接强度。

提出的方法

• 构建一个完全生成的、非双分图的关联LDA模型，允许主题从被引用文档向引用文档传播，反之亦然，实现双向影响。
• 提出三种吉布斯采样加速策略：聚合采样（联合更新相同词语的出现）、限制采样（按不同词语分别更新）和稀疏采样（随机跳过词语），以加速推理过程。
• 使用推断出的主题分布作为低维特征进行文档分类，替代原始文本或tf.idf表示。
• 利用模型学习到的链接权重（χ）作为堆叠图学习中的边特征，提升元学习框架中的性能。
• 将模型应用于真实世界的网页语料库（最多10万篇文档，1200万页），并使用Weka的BayesNet和C4.5分类器进行AUC评估。
• 采用坍缩吉布斯采样，并通过重构存储和更新机制，降低内存和时间复杂度，同时不牺牲收敛质量。

实验结果

研究问题

• RQ1 能否将生成式主题模型（如LDA）有效扩展至大规模网页文档集合，同时整合超链接结构？
• RQ2 如何在主题模型中建模文档之间的双向影响，以反映现实世界中的网页链接动态？
• RQ3 能否在不显著损失似然或分类准确率的前提下，大幅加速LDA的吉布斯采样？
• RQ4 由关联LDA模型推断出的链接权重是否能提升基于图的分类方法（如堆叠图学习）的性能？
• RQ5 关联LDA模型的性能增益是否在不同分类器和评估指标下均保持稳健？

主要发现

• 使用Weka的BayesNet分类器时，关联LDA模型相比标准LDA实现4%的AUC提升，使用SVM时相比tf.idf实现18%的AUC提升。
• 所提出的吉布斯采样启发式方法（聚合采样、限制采样和稀疏采样）实现5–10倍速度提升，且对对数似然和分类AUC的下降均不足1%。
• 稀疏采样在ℓ=10时实现9.5倍速度提升，AUC仅下降2%，展现出极佳的效率-准确率权衡。
• 关联LDA推断出的链接权重（χ）显著提升了堆叠图学习性能，平均优于基于共引用的权重3%。
• 在使用关联LDA推断的χ权重时，若反转图以计算边权重，性能下降，表明方向性在影响建模中具有重要意义。
• 模型在多次运行中表现稳定，AUC方差低于0.015，证实了其结果的一致性和可靠性。