[论文解读] Distributed Bayesian Learning with Stochastic Natural-gradient Expectation Propagation and the Posterior Server

Leonard Hasenclever, Stefan Webb+5 more|arXiv (Cornell University)|Dec 31, 2015

Gaussian Processes and Bayesian Inference参考文献 67被引用 7

一句话总结

本文提出了一种收敛的、黑箱的变分推断方法——随机自然梯度期望传播（SNEP），用于贝叶斯学习。该方法利用随机自然梯度和蒙特卡洛采样来近似后验分布。此外，本文还提出了后验服务器架构，通过SNEP在集群中同步基于矩的通信消息，实现可扩展的分布式贝叶斯学习，在逻辑回归和深度神经网络上均表现出色，且通信开销极低。

ABSTRACT

This paper makes two contributions to Bayesian machine learning algorithms. Firstly, we propose stochastic natural gradient expectation propagation (SNEP), a novel alternative to expectation propagation (EP), a popular variational inference algorithm. SNEP is a black box variational algorithm, in that it does not require any simplifying assumptions on the distribution of interest, beyond the existence of some Monte Carlo sampler for estimating the moments of the EP tilted distributions. Further, as opposed to EP which has no guarantee of convergence, SNEP can be shown to be convergent, even when using Monte Carlo moment estimates. Secondly, we propose a novel architecture for distributed Bayesian learning which we call the posterior server. The posterior server allows scalable and robust Bayesian learning in cases where a data set is stored in a distributed manner across a cluster, with each compute node containing a disjoint subset of data. An independent Monte Carlo sampler is run on each compute node, with direct access only to the local data subset, but which targets an approximation to the global posterior distribution given all data across the whole cluster. This is achieved by using a distributed asynchronous implementation of SNEP to pass messages across the cluster. We demonstrate SNEP and the posterior server on distributed Bayesian learning of logistic regression and neural networks. Keywords: Distributed Learning, Large Scale Learning, Deep Learning, Bayesian Learn- ing, Variational Inference, Expectation Propagation, Stochastic Approximation, Natural Gradient, Markov chain Monte Carlo, Parameter Server, Posterior Server.

研究动机与目标

• 开发一种收敛的、黑箱的变分推断算法用于贝叶斯学习，且无需对后验分布做简化假设。
• 在数据被分区存储于集群中的情况下，实现可扩展且鲁棒的分布式贝叶斯学习，每个节点仅处理其本地数据子集。
• 通过引入随机自然梯度形式，解决传统期望传播（EP）的非收敛问题。
• 设计一种通信高效的分布式学习系统，利用后验服务器通过共享矩信息协调本地MCMC采样器。
• 在大规模模型（如逻辑回归和深度神经网络）上验证该方法，数据分布于多台设备。

提出的方法

• 提出SNEP，即期望传播的一种随机自然梯度变体，利用倾斜分布的矩的蒙特卡洛估计。
• 采用带自适应质量矩阵（受Adam启发）的随机梯度朗之万动力学（SGLD），以高效采样本地后验近似。
• 引入后验服务器，聚合并广播全局矩更新（θ−i）至所有工作节点，以同步本地后验近似。
• 采用状态转移技术，在每次通信后通过重新定位MCMC状态相对于新目标分布的位置，保持MCMC链的效率。
• 使用来自本地数据小批量的无偏随机梯度，对变分参数进行自然梯度更新。
• 采用SNEP的分布式异步实现，在集群中传递消息，最大限度减少通信频率，提升鲁棒性。

实验结果

研究问题

• RQ1 即使使用倾斜分布矩的噪声蒙特卡洛估计，能否使EP的随机自然梯度形式保持收敛？
• RQ2 当数据被分区存储于集群中时，如何实现可扩展且通信高效的分布式贝叶斯学习？
• RQ3 能否在不进行完整数据复制或频繁通信的情况下，使本地MCMC采样器在各工作节点间保持同步？
• RQ4 后验服务器架构是否能实现在大规模贝叶斯模型中准确且高效的后验近似？
• RQ5 SNEP在分布式数据下的复杂模型（如深度神经网络）中是否能保持收敛性和性能？

主要发现

• 在温和条件下，SNEP被证明是收敛的，即使使用倾斜分布矩的噪声蒙特卡洛估计。
• 后验服务器实现了通信开销极低的分布式贝叶斯学习，消息交换频率低，仅共享矩信息。
• 状态转移技术使MCMC采样器在每次通信后能高效恢复，无需再进行预烧期。
• 该方法在逻辑回归和深度神经网络上实现了与集中式推断相当的后验近似精度，尽管数据是分布式的且采样仅在本地进行。
• 采用对角质量矩阵和去偏处理（类似Adam）的自适应SGLD显著提升了训练稳定性和收敛速度。
• 实验结果表明，该方法能有效扩展至大规模数据集，性能对数据分区和通信延迟具有鲁棒性。