[论文解读] Familia: A Configurable Topic Modeling Framework for Industrial Text Engineering

Di Jiang, Yuanfeng Song+5 more|arXiv (Cornell University)|Aug 11, 2018

Topic Modeling参考文献 32被引用 10

一句话总结

Familia 是一个可配置的开源主题建模框架，使工业软件工程师能够轻松探索、部署和自定义多种主题模型（包括 LDA、双语主题模型、句子 LDA 等），而无需具备贝叶斯网络或手动实现推理的专长。通过采用混合 Gibbs/梅特罗波利斯-黑斯廷斯采样机制实现参数推理自动化，并借助参数服务器架构支持分布式并行推理，Familia 弥合了学术主题模型研究与工业应用之间的鸿沟，显著扩展了文本工程任务的实用工具集。

ABSTRACT

In the last decade, a variety of topic models have been proposed for text engineering. However, except Probabilistic Latent Semantic Analysis (PLSA) and Latent Dirichlet Allocation (LDA), most of existing topic models are seldom applied or considered in industrial scenarios. This phenomenon is caused by the fact that there are very few convenient tools to support these topic models so far. Intimidated by the demanding expertise and labor of designing and implementing parameter inference algorithms, software engineers are prone to simply resort to PLSA/LDA, without considering whether it is proper for their problem at hand or not. In this paper, we propose a configurable topic modeling framework named Familia, in order to bridge the huge gap between academic research fruits and current industrial practice. Familia supports an important line of topic models that are widely applicable in text engineering scenarios. In order to relieve burdens of software engineers without knowledge of Bayesian networks, Familia is able to conduct automatic parameter inference for a variety of topic models. Simply through changing the data organization of Familia, software engineers are able to easily explore a broad spectrum of existing topic models or even design their own topic models, and find the one that best suits the problem at hand. With its superior extendability, Familia has a novel sampling mechanism that strikes balance between effectiveness and efficiency of parameter inference. Furthermore, Familia is essentially a big topic modeling framework that supports parallel parameter inference and distributed parameter storage. The utilities and necessity of Familia are demonstrated in real-life industrial applications. Familia would significantly enlarge software engineers' arsenal of topic models and pave the way for utilizing highly customized topic models in real-life problems.

研究动机与目标

• 解决学术主题模型数量众多但其在工业应用中使用有限的长期问题。
• 通过抽象复杂贝叶斯推理与参数优化过程，降低实现和调优主题模型的工程负担。
• 提供一个统一且可扩展的框架，通过可配置的数据组织方式和自动推理，支持广泛的主题模型谱系。
• 使软件工程师能够快速原型设计并评估针对特定工业文本工程任务定制的主题模型。
• 通过开箱即用的后模型处理工具（如降维和语义匹配）提升高级主题模型在工业场景中的采用率。

提出的方法

• 通过可配置的生成过程定义主题模型，Familia 支持多种主题模型，用户仅需重新组织训练数据即可切换模型。
• 采用结合 Gibbs 采样与梅特罗波利斯-黑斯廷斯采样的混合采样机制，并利用别名表以在推理准确性和计算效率之间取得平衡。
• 框架基于参数服务器架构构建，支持在多个节点上进行分布式并行参数推理，适用于大规模工业数据集。
• 自动参数推理对用户透明，无需手动实现自定义 MCMC 或变分推理算法。
• 内置后模型处理工具包括降维、语义匹配和特征提取，适用于排序和推荐等下游任务。
• 用户可通过定义符合框架生成过程规范的新主题模型来扩展 Familia。

实验结果

研究问题

• RQ1 如何设计一个主题建模框架，以在最小工程开销下支持现有及新型主题模型的广泛谱系？
• RQ2 何种采样策略能在多种主题模型中实现推理准确性与效率的最佳权衡？
• RQ3 自动化参数推理与分布式计算在多大程度上能提升主题模型在工业环境中的可扩展性与可用性？
• RQ4 统一框架能否在真实应用场景中有效支持标准模型（如 LDA）与专用模型（如双语主题模型或成对模型）？
• RQ5 将主题模型特征集成到下游任务（如搜索排序与推荐）中，相较于传统方法，性能提升程度如何？

主要发现

• Familia 支持 10 余种成熟主题模型，包括 LDA、监督 LDA、句子 LDA、双语主题模型、成对模型、GeoFolk、LATM 和多面体主题模型，所有模型均可通过数据重组方式访问。
• 结合 Gibbs 采样与梅特罗波利斯-黑斯廷斯采样并引入别名表的混合采样机制，在多种模型中均实现了推理有效性与效率的优越平衡。
• Familia 在下游任务中实现了显著性能提升：当作为 SVDFeature 中的全局特征使用时，基于 JSD 的主题相似性在个性化小说推荐中同时提升了精确率与 NDCG。
• 在关键词提取任务中，由 Familia 驱动的 TWE（主题加权嵌入）相比 TF-IDF 基线方法，更有效地保留了新闻文章中的语义相关词汇。
• 在长文本语义匹配任务中，通过 Familia 计算的主题分布结合 Hellinger 距离与 Jensen-Shannon 散度，实现了有效的相似性度量，显著提升了下游相关性表现。
• 开源后，Familia 成为该领域第二受欢迎的主题建模项目，充分体现了其在工业界与学术界的广泛采纳。