[论文解读] Towards Topic Modeling for Big Data

Yi Wang, Xuemin Zhao+9 more|arXiv (Cornell University)|Jan 1, 2014

Complex Network Analysis Techniques被引用 24

一句话总结

本文提出 Peacock，一种可扩展的分层分布式系统，用于从大规模数据中学习至少 10⁵ 个主题的大规模主题模型，为工业应用提供高质量的主题特征。通过结合分布式 LDA 训练、实时推理以及通过非对称狄利克雷先验实现的主题去重，该系统在搜索相关性和点击率预测方面实现了显著改进。

ABSTRACT

Latent Dirichlet allocation (LDA) is a popular topic modeling technique in academia but less so in industry, especially in large-scale applications involving search engine and online advertising systems. A main underlying reason is that the topic models used have been too small in scale to be useful; for example, some of the largest LDA models reported in literature have up to 103 topics, which cover difficultly the long-tail semantic word sets. In this paper, we show that the number of topics is a key factor that can significantly boost the utility of topic-modeling systems. In particular, we show that a “big” LDA model with at least 105 topics inferred from 109 search queries can achieve a significant improvement on industrial search engine and online advertising systems, both of which serving hundreds of millions of users. We develop a novel distributed system called Peacock to learn big LDA models from big data. The main features of Peacock include hierarchical distributed architecture, real-time prediction and topic de-duplication. We empirically demonstrate that the Peacock system is capable of providing significant benefits via highly scalable LDA topic models for several industrial applications.

研究动机与目标

• 为解决传统主题模型在工业环境中可扩展性有限的问题，即仅支持最多 10³ 个主题的模型无法捕捉长尾语义词集。
• 开发一种可扩展的分布式系统，能够从 10⁹ 条搜索查询中学习至少 10⁵ 个主题的 LDA 模型。
• 通过解决大规模模型中的主题重复问题，实现实时主题预测和高质量的主题特征。
• 将大规模主题模型集成到实际系统（如搜索引擎和在线广告平台）中，实现可度量的性能提升。

提出的方法

• 设计一种分层分布式架构，结合数据并行处理大规模语料和模型并行处理大规模 LDA 参数集。
• 采用流水线和无锁技术，减少分布式训练中的通信和同步开销。
• 通过优化的推理算法实现实时主题预测，适用于生产规模系统。
• 通过非对称狄利克雷先验学习实现主题去重，以消除语义相似的主题并提升模型质量。
• 使用点互信息（PMI）作为度量指标，评估不同主题数量下模型的主题连贯性。
• 在大规模查询数据集上训练并评估 K ∈ {10², 10³, 10⁴, 10⁵} 的 LDA 模型，以分析性能趋势。

实验结果

研究问题

• RQ1 与较小规模模型相比，具有 10⁵ 个或更多主题的 LDA 模型是否能在工业搜索与广告系统中显著提升性能？
• RQ2 随着 LDA 模型主题数量的增加，主题质量（以 PMI 衡量）如何变化？
• RQ3 在大数据工作负载中将主题建模扩展到 10⁵+ 个主题时，面临哪些关键技术挑战？
• RQ4 在使用大规模主题模型时，主题去重在提升检索与预测性能方面的有效性如何？
• RQ5 在工业系统中，能否高效地在大规模场景下支持基于大主题模型的实时主题预测？

主要发现

• 具有 10⁵ 个主题的 LDA 模型相比 10² 至 10⁴ 个主题的模型，平均 PMI 分数显著更高，表明其语义连贯性和可解释性更优。
• 信息检索中的平均精度均值（MAP）随主题数量增加而提升，在约 10⁵ 个主题时达到峰值，且主题去重进一步提升了性能。
• 通过非对称狄利克雷先验学习实现的主题去重可有效去除冗余主题，尤其在从 10⁶ 个主题减少到 10⁵ 个主题时显著提升 MAP。
• 在在线广告中，10⁵ 个主题的模型实现了最高的 AUC 提升（相对于基线 AUC = 0.7439），优于 10⁴ 个主题的模型，原因在于减少了主题重复。
• 10⁴ 个主题的模型性能劣于 10³ 个主题的模型，证实若缺乏适当的去重处理，模型质量会下降。
• 该系统在 10⁹ 条搜索查询上实现了对 10⁵ 个主题的可扩展性，且在搜索与广告应用中均表现出一致的性能提升。