[论文解读] Embarrassingly Parallel Variational Inference in Nonconjugate Models

Willie Neiswanger, Chong Wang+1 more|arXiv (Cornell University)|Oct 14, 2015

Machine Learning and Algorithms参考文献 22被引用 9

一句话总结

该论文提出了一种显式并行变分推断（EPVI）方法，用于非共轭贝叶斯模型，可在分布式数据子集上实现独立、无通信的推断。通过利用子后验密度的乘积与非参数变分推断，该方法在逻辑回归和非线性矩阵分解等非共轭模型中实现了高达十倍的加速，同时保持了准确的后验近似。

ABSTRACT

We develop a parallel variational inference (VI) procedure for use in data-distributed settings, where each machine only has access to a subset of data and runs VI independently, without communicating with other machines. This type of "embarrassingly parallel" procedure has recently been developed for MCMC inference algorithms; however, in many cases it is not possible to directly extend this procedure to VI methods without requiring certain restrictive exponential family conditions on the form of the model. Furthermore, most existing (nonparallel) VI methods are restricted to use on conditionally conjugate models, which limits their applicability. To combat these issues, we make use of the recently proposed nonparametric VI to facilitate an embarrassingly parallel VI procedure that can be applied to a wider scope of models, including to nonconjugate models. We derive our embarrassingly parallel VI algorithm, analyze our method theoretically, and demonstrate our method empirically on a few nonconjugate models.

研究动机与目标

• 解决在分布式数据环境下，非共轭模型缺乏可扩展、低通信变分推断方法的问题。
• 克服现有并行VI方法依赖条件共轭性或指数族假设的局限性。
• 通过计算过程中消除机器间通信，实现安全、去中心化的推断。
• 将显式并行推断的适用范围从指数族模型扩展到一般贝叶斯模型。
• 开发一种方法，在大幅缩短收敛时间的同时，保持后验近似精度，适用于大规模、分布式环境。

提出的方法

• 采用基于子后验密度乘积的后验分解策略，受近期并行MCMC研究的启发。
• 将此分解方法应用于非参数变分推断（NVI），后者不依赖于条件共轭性或指数族假设。
• 在每个数据分区上独立执行变分推断，无需通信，仅需联合对数概率的弱可微性条件。
• 通过子后验密度的乘积混合，将局部变分近似组合起来，以近似完整数据的后验分布。
• 提出两种基于采样的方法——EPVI_sample和EPVI_subset——以在精确计算不可行时高效近似乘积混合。
• 在最终聚合步骤中使用顺序采样，以降低计算成本，同时保持近似质量。

实验结果

研究问题

• RQ1 显式并行变分推断能否在不依赖指数族或条件共轭性假设的前提下，扩展至非共轭模型？
• RQ2 在非共轭模型中，通过非参数VI组合时，子后验密度的乘积在多大程度上能近似完整数据的后验分布？
• RQ3 在无通信的分布式VI设置中，计算效率与后验近似精度之间的权衡如何？
• RQ4 在乘积混合的近似中，不同采样策略（EPVI_sample与EPVI_subset）在速度与精度方面的表现如何比较？
• RQ5 在保持性能的前提下，该方法在数据划分数（M）和混合成分数（K）方面能实现多大程度的可扩展性？

主要发现

• 在包括逻辑回归和非线性矩阵分解在内的多个非共轭模型中，EPVI_sample相较于标准NVI将收敛时间减少了近十倍。
• 该方法在保留数据负对数似然值方面与基线NVI几乎完全一致，表明尽管通信减少，后验近似质量依然出色。
• 当M > 6且K > 4时，精确乘积混合评估的计算时间显著增加，而EPVI_sample和EPVI_subset仍保持高效与准确。
• EPVI_sample在测试对数似然和计算时间两方面均优于EPVI_subset，表明其在乘积混合近似中具有更高的采样效率。
• 该方法在数据切分数（M）和混合成分数（K）增加时表现出良好的可扩展性，持续实现加速，且预测性能未下降。
• 在合成数据与真实世界数据上的实证结果表明，该方法实现了高速度、低通信的推断，适用于隐私敏感的分布式环境。