[论文解读] Bayesian Learning with Wasserstein Barycenters

Julio Backhoff‐Veraguas, Joaquín Fontbona+2 more|arXiv (Cornell University)|May 28, 2018

Markov Chains and Monte Carlo Methods被引用 4

一句话总结

本文提出了贝叶斯Wasserstein中位数（BWB），这是一种新颖的贝叶斯学习模型选择策略，利用Wasserstein距离计算模型后验分布的总体中位数。该方法借助最优传输理论，生成的预测后验分布方差低于贝叶斯模型平均（BMA），并通过理论和实验表明，当在Wasserstein空间中通过小批量随机梯度下降计算时，其收敛速度更快且方差更低。

ABSTRACT

We introduce and study a novel model-selection strategy for Bayesian learning, based on optimal transport, along with its associated predictive posterior law: the Wasserstein population barycenter of the posterior law over models. We first show how this estimator, termed Bayesian Wasserstein barycenter (BWB), arises naturally in a general, parameter-free Bayesian model-selection framework, when the considered Bayesian risk is the Wasserstein distance. Examples are given, illustrating how the BWB extends some classic parametric and non-parametric selection strategies. Furthermore, we also provide explicit conditions granting the existence and statistical consistency of the BWB, and discuss some of its general and specific properties, providing insights into its advantages compared to usual choices, such as the model average estimator. Finally, we illustrate how this estimator can be computed using the stochastic gradient descent (SGD) algorithm in Wasserstein space introduced in a companion paper arXiv:2201.04232v2 [math.OC], and provide a numerical example for experimental validation of the proposed method.

研究动机与目标

• 基于最优传输理论，开发一种新的贝叶斯模型选择准则。
• 定义并分析贝叶斯Wasserstein中位数（BWB）作为模型后验分布的总体中位数。
• 在正则性条件下，建立BWB的存在性、唯一性及统计一致性等理论性质。
• 从方差和收敛行为角度，将BWB与经典估计器（如BMA和MAP）进行比较。
• 提出并验证一种计算高效的BWB计算方法，利用Wasserstein空间中的小批量随机梯度下降。

提出的方法

• BWB被定义为p-Wasserstein风险函数的最小化器：$\hat{m}_p^n = \arg\min_{m \in \mathcal{M}} \int_{\mathcal{P}(\mathcal{X})} W_p(m, \bar{m})^p \, \Pi_n(d\bar{m})$，其中$\Pi_n$为模型上的后验分布。
• 该方法将模型上的后验分布视为概率分布空间上的测度，并利用最优传输计算其Wasserstein中位数。
• 理论分析建立了BWB的存在性与一致性的条件，包括在从真实模型$m_0$进行独立同分布抽样下的后验一致性。
• 采用Wasserstein空间中的随机梯度下降算法（SGDW）高效计算BWB，通过小批量处理降低方差。
• 该算法使用步长$\gamma_t = 1/t$，并通过Wasserstein空间中的迭代投影更新中位数估计。
• 数值验证通过$W_2^2$距离比较了BWB与经验中位数及BMA，评估对象为不同样本大小和小批量大小下的真实模型$m_0$。

实验结果

研究问题

• RQ1 随着观测数增加，贝叶斯Wasserstein中位数（BWB）是否存在且保持一致性？
• RQ2 与贝叶斯模型平均（BMA）相比，BWB在方差和收敛速度方面表现如何？
• RQ3 能否通过Wasserstein空间中的随机梯度下降高效计算BWB？
• RQ4 用于计算BWB的小批量-SGDW方法是否相比经验中位数估计器具有更低方差？
• RQ5 在何种条件下，BWB在$W_2$距离下收敛于真实数据生成模型$m_0$？

主要发现

• BWB估计器的方差低于贝叶斯模型平均（BMA），该结论在表4的标准差比较中得到证实。
• 对于小批量大小$s \geq 5$，尽管每次迭代使用的样本更少，但随机梯度下降方法产生的BWB估计方差低于经验方法。
• 当样本大小$n$增加时，BWB到真实模型$m_0$的均值$W_2^2$距离减小，在$n=500$且小批量大小$s=5$时达到0.0039。
• 小批量-SGDW方法表现出更快的收敛速度，并且在较大小批量下更紧密地聚集于真实模型，如图7所示。
• 通过MCMC构建的经验后验在$W_2$距离下被发现是一致的，验证了其在计算BWB中的适用性。
• 当$n \to \infty$时，BWB估计器在$W_2$距离下收敛于真实模型$m_0$，证实了其在独立同分布抽样下的后验一致性。