[论文解读] Decentralized Stochastic Gradient Langevin Dynamics and Hamiltonian Monte Carlo

Mert Gürbüzbalaban, Xuefeng Gao+2 more|arXiv (Cornell University)|Jul 1, 2020

Markov Chains and Monte Carlo Methods参考文献 104被引用 16

一句话总结

本文提出去中心化随机梯度朗之万动力学（DE-SGLD）与去中心化随机梯度哈密顿蒙特卡洛（DE-SGHMC），在去中心化网络中实现可扩展的贝叶斯推断，其中各参与方协作学习模型参数而不共享原始数据。在后验分布强对数凹性与光滑性条件下，通过合理选择参数，算法在2- Wasserstein 距离下实现对目标分布邻域的线性收敛。

ABSTRACT

Stochastic gradient Langevin dynamics (SGLD) and stochastic gradient Hamiltonian Monte Carlo (SGHMC) are two popular Markov Chain Monte Carlo (MCMC) algorithms for Bayesian inference that can scale to large datasets, allowing to sample from the posterior distribution of the parameters of a statistical model given the input data and the prior distribution over the model parameters. However, these algorithms do not apply to the decentralized learning setting, when a network of agents are working collaboratively to learn the parameters of a statistical model without sharing their individual data due to privacy reasons or communication constraints. We study two algorithms: Decentralized SGLD (DE-SGLD) and Decentralized SGHMC (DE-SGHMC) which are adaptations of SGLD and SGHMC methods that allow scaleable Bayesian inference in the decentralized setting for large datasets. We show that when the posterior distribution is strongly log-concave and smooth, the iterates of these algorithms converge linearly to a neighborhood of the target distribution in the 2-Wasserstein distance if their parameters are selected appropriately. We illustrate the efficiency of our algorithms on decentralized Bayesian linear regression and Bayesian logistic regression problems.

研究动机与目标

• 为解决大规模、隐私敏感数据环境中缺乏可扩展的 MCMC 方法以实现去中心化贝叶斯推断的问题。
• 将 SGLD 与 SGHMC——两种流行的可扩展 MCMC 方法——扩展至去中心化网络，其中数据分布在各参与方之间且不共享。
• 在后验分布强对数凹性与光滑性条件下，建立去中心化变体的理论收敛保证。
• 在去中心化贝叶斯线性与逻辑回归任务中展示算法的实际效率。

提出的方法

• 通过加权混合矩阵在参与方网络上实现基于一致性机制的梯度平均，将 SGLD 与 SGHMC 适配至去中心化设置。
• 引入动量与噪声注入，以在离散时间算法中保持连续时间 SDE 的不变测度。
• 使用各参与方本地私有数据子集计算的随机梯度，并结合邻居间平均以近似全局梯度。
• 采用基于加权网络拉普拉斯矩阵的一致性机制，实现通信图中各参与方状态的同步。
• 应用李雅普诺夫函数分析，证明在 2-Wasserstein 距离下对目标后验邻域的线性收敛。
• 通过假设小批量采样且数据有界，确保梯度噪声的二阶矩有界，满足关键技术条件。

实验结果

研究问题

• RQ1 SGLD 与 SGHMC 是否可在保持其贝叶斯推断特性的前提下，有效适配至去中心化网络？
• RQ2 在何种条件下，SGLD 与 SGHMC 的去中心化变体收敛至目标后验分布？
• RQ3 DE-SGLD 与 DE-SGHMC 在 2-Wasserstein 距离下对目标分布的收敛速率如何？
• RQ4 在具有隐私与通信约束的去中心化贝叶斯回归任务中，算法的实际表现如何？
• RQ5 在后验分布强对数凹性与光滑性条件下，能否建立理论收敛保证？

主要发现

• 在强对数凹性与光滑性条件下，DE-SGLD 与 DE-SGHMC 在 2-Wasserstein 距离下实现对目标后验分布邻域的线性收敛。
• 收敛速率由依赖于步长、网络连通性与问题条件数的收缩因子决定。
• 在合理参数选择下，算法保持有限的二阶矩有界性，确保稳定性。
• 当数据通过小批量采样或具有有界支撑时，梯度噪声方差保持一致有界，满足关键技术假设。
• 理论框架可统一适用于 SGLD 与 SGHMC，实现对去中心化采样中动量与噪声的统一分析。
• 实验结果证实算法在去中心化贝叶斯线性与逻辑回归任务中的高效性，展示了实际可扩展性与准确性。