[论文解读] Extreme Stochastic Variational Inference: Distributed and Asynchronous

Jiong Zhang, Parameswaran Raman+4 more|arXiv (Cornell University)|May 31, 2016

Gaussian Processes and Bayesian Inference参考文献 20被引用 3

一句话总结

本文提出极端随机变分推断（ESVI），一种分布式、异步且无锁的算法，通过实现数据与模型的并行处理，使大规模混合模型的可扩展变分推断成为可能。ESVI在壁钟时间与解的质量方面均优于VI和SVI，尤其在UMBC-3B等大规模数据集（30亿词元，300万词汇量）上表现优异，同时引入TOPK变体以加速计算并降低高主题模型的内存使用量。

ABSTRACT

Stochastic variational inference (SVI), the state-of-the-art algorithm for scaling variational inference to large-datasets, is inherently serial. Moreover, it requires the parameters to fit in the memory of a single processor; this is problematic when the number of parameters is in billions. In this paper, we propose extreme stochastic variational inference (ESVI), an asynchronous and lock-free algorithm to perform variational inference for mixture models on massive real world datasets. ESVI overcomes the limitations of SVI by requiring that each processor only access a subset of the data and a subset of the parameters, thus providing data and model parallelism simultaneously. We demonstrate the effectiveness of ESVI by running Latent Dirichlet Allocation (LDA) on UMBC-3B, a dataset that has a vocabulary of 3 million and a token size of 3 billion. In our experiments, we found that ESVI not only outperforms VI and SVI in wallclock-time, but also achieves a better quality solution. In addition, we propose a strategy to speed up computation and save memory when fitting large number of topics.

研究动机与目标

• 解决传统变分推断（VI）和随机变分推断（SVI）在处理包含数十亿文档、参数超出单机内存容量的数据集时的可扩展性限制。
• 通过允许处理器仅更新本地和全局变量的子集，而非以同步方式更新所有参数，实现在混合模型中的数据与模型并行。
• 设计一种无锁、异步的算法，避免多核与分布式环境中的昂贵同步开销，提升计算效率。
• 在真实世界的大规模数据集（如UMBC-3B、PubMed和NY Times）上展示ESVI的有效性，现有方法因内存与可扩展性限制而失效。

提出的方法

• ESVI引入一种新颖的更新策略，使每个处理器仅访问数据子集和参数子集，从而实现数据与模型的并行处理。
• 采用所有者计算范式以支持异步和无锁更新，消除全局同步需求并减少通信开销。
• 该算法允许全局参数在工作节点间‘游牧式移动’，即使在部分更新的情况下也能确保参数混合与收敛。
• 采用TOPK策略，仅在每个工作节点上存储每主题的前-k个主题，显著降低内存使用并加速大主题模型的计算。
• 该方法应用于高斯混合模型（GMM）和潜在狄利克雷分布（LDA），并在包括UMBC-3B在内的真实世界数据集上进行实证评估。
• 利用局部变分更新的可分结构，实现在数据与参数子集上的随机优化。

实验结果

研究问题

• RQ1 变分推断能否扩展到参数超出单机内存容量、包含数十亿词元和数百万词汇项的大规模数据集？
• RQ2 在随机变分推断中，如何高效结合数据与模型并行，而不会产生同步瓶颈？
• RQ3 异步、无锁算法能否在分布式系统中保持收敛性与解的质量，同时实现高吞吐量？
• RQ4 在大规模LDA模型中，选择性地仅更新部分主题与参数，能带来多大的性能提升？
• RQ5 TOPK策略如何提升高主题LDA推断中的内存效率与计算速度？

主要发现

• 在UMBC-3B数据集（30亿词元，300万词汇量）上，ESVI-LDA的ELBO优于分布式VI，且显著更快，证明其在工业级规模数据上的可扩展性。
• 在PubMed和UMBC-3B的多机、多核实验中，ESVI-LDA在收敛速度与最终ELBO方面均优于分布式VI，其中ESVI-LDA-TOPK表现最佳。
• 在Enron和NY Times数据集上，ESVI-LDA达到与VI相当的测试困惑度，但壁钟时间显著更短，尤其在核心数增加时优势更明显。
• TOPK变体显著降低了内存使用并加速了计算，尤其在大主题模型中受益明显，在所有多核与多机设置中实现了最快收敛。
• 在单机环境下，ESVI-GMM在ELBO提升方面优于VI与SVI，即使在中等规模数据下也表现优异。
• ESVI的异步、无锁设计在32个节点与512个核心的环境中实现了高吞吐量与可扩展性，证实其在极端规模推断中的实用性。