[论文解读] Model-Parallel Inference for Big Topic Models

Xun Zheng, Jin K. Kim+2 more|arXiv (Cornell University)|Nov 10, 2014

Topic Modeling参考文献 23被引用 6

一句话总结

本文提出了一种用于大规模主题模型（如LDA）的模型并行推理框架，通过将模型划分为不相交的块并在并行更新中处理，克服了数据并行在处理超高维模型时的局限性。该方法可在计算资源有限的集群上实现高效训练，成功收敛于参数量超过2000亿的大规模模型，并在收敛速度和可扩展性方面优于Yahoo!LDA等数据并行基线方法。

ABSTRACT

In real world industrial applications of topic modeling, the ability to capture gigantic conceptual space by learning an ultra-high dimensional topical representation, i.e., the so-called "big model", is becoming the next desideratum after enthusiasms on "big data", especially for fine-grained downstream tasks such as online advertising, where good performances are usually achieved by regression-based predictors built on millions if not billions of input features. The conventional data-parallel approach for training gigantic topic models turns out to be rather inefficient in utilizing the power of parallelism, due to the heavy dependency on a centralized image of "model". Big model size also poses another challenge on the storage, where available model size is bounded by the smallest RAM of nodes. To address these issues, we explore another type of parallelism, namely model-parallelism, which enables training of disjoint blocks of a big topic model in parallel. By integrating data-parallelism with model-parallelism, we show that dependencies between distributed elements can be handled seamlessly, achieving not only faster convergence but also an ability to tackle significantly bigger model size. We describe an architecture for model-parallel inference of LDA, and present a variant of collapsed Gibbs sampling algorithm tailored for it. Experimental results demonstrate the ability of this system to handle topic modeling with unprecedented amount of 200 billion model variables only on a low-end cluster with very limited computational resources and bandwidth.

研究动机与目标

• 为解决数据并行在训练大规模主题模型时因集中式模型依赖和高内存开销导致的效率低下问题。
• 克服当模型大小超过单个节点可用内存时，数据并行系统在可扩展性方面的限制。
• 实现在低端集群上训练具有超高维表示（例如10^5个主题，10^7个词汇表）的主题模型。
• 通过减少同步开销和通信成本，提升收敛速度和系统可扩展性。
• 证明模型并行无需算法重构，即可有效处理大中型规模模型。

提出的方法

• 系统将词-主题矩阵划分为多个块，并将每个块分配给不同的工作节点，实现独立更新。
• 将模型并行与数据并行相结合，使分布式工作节点仅能访问与其本地数据相关的模型块。
• 采用一种改进的坍缩Gibbs采样方法以支持模型并行执行，并通过按需同步保证正确性。
• 采用动态模型划分策略以平衡负载并最小化每个节点的内存使用，遵循1/M的内存趋势。
• 框架采用按需通信策略以减少网络流量，避免数据并行方法中O(M²)的同步开销。
• 将模型块分片存储于多台机器上，仅存储本地数据子集中的键，从而降低内存占用。

实验结果

研究问题

• RQ1 模型并行是否能有效突破单个节点内存限制，实现主题建模的可扩展？
• RQ2 模型并行推理是否在收敛速度上优于Yahoo!LDA等数据并行基线？
• RQ3 模型并行是否可在低端集群上处理超过2000亿参数的模型？
• RQ4 在异步、分块更新下，系统如何保持正确性和一致性？
• RQ5 动态模型划分在多大程度上提升了内存效率和系统可扩展性？

主要发现

• 该模型并行系统仅使用64台低端机器，成功在参数量超过2000亿的主题模型上完成推理，其规模已超出单个节点的内存容量。
• 对于一个5000主题的单次词模型，收敛时间缩短至2.3小时，而Yahoo!LDA耗时11.8小时，表明收敛速度显著提升。
• 随着机器数量增加，每台机器的内存使用量近似按1/M下降，表明具有接近理想的可扩展性。
• 收敛时间的加速效果接近理想趋势，而Yahoo!LDA因网络拥塞导致更多机器时性能下降。
• 通过按需同步机制，系统避免了数据并行方法中O(M²)的通信开销，保持了正确性。
• 模型并行推理实现了更高的计算资源利用率，在时间和内存效率方面均优于数据并行基线方法。