[论文解读] MMD-Bayes: Robust Bayesian Estimation via Maximum Mean Discrepancy

Badr-Eddine Chérief-Abdellatif, Pierre Alquier|arXiv (Cornell University)|Sep 29, 2019

Statistical Methods and Bayesian Inference被引用 22

一句话总结

本文提出 MMD-Bayes，一种鲁棒的贝叶斯估计框架，通过使用基于最大均值差异（MMD）的伪似然替代似然函数，确保在模型误设情况下的一致性与鲁棒性。通过将概率测度嵌入再生核希尔伯特空间，并采用温度参数化的后验分布，该方法实现了极小化最大最优收敛速率，即使在数据被污染的情况下仍保持鲁棒性，同时变分推断通过随机梯度实现了可计算性。

ABSTRACT

In some misspecified settings, the posterior distribution in Bayesian statistics may lead to inconsistent estimates. To fix this issue, it has been suggested to replace the likelihood by a pseudo-likelihood, that is the exponential of a loss function enjoying suitable robustness properties. In this paper, we build a pseudo-likelihood based on the Maximum Mean Discrepancy, defined via an embedding of probability distributions into a reproducing kernel Hilbert space. We show that this MMD-Bayes posterior is consistent and robust to model misspecification. As the posterior obtained in this way might be intractable, we also prove that reasonable variational approximations of this posterior enjoy the same properties. We provide details on a stochastic gradient algorithm to compute these variational approximations. Numerical simulations indeed suggest that our estimator is more robust to misspecification than the ones based on the likelihood.

研究动机与目标

• 解决标准贝叶斯后验在模型误设下的不一致性问题。
• 提出一种基于最大均值差异（MMD）度量的似然函数鲁棒替代方法，用于贝叶斯推断。
• 确保在真实数据生成分布不在模型集合中时，所得后验仍保持一致性和极小化最大最优收敛速率。
• 通过具有理论保证的变分近似方法，提供一种可计算的推断方法。
• 通过数值模拟，展示该方法在异常值和数据污染下的经验鲁棒性。

提出的方法

• 定义基于模型分布与经验测度之间平方 MMD 距离的伪后验，由温度参数 β 加权。
• 将 MMD-Bayes 后验构造为 πβn ∝ exp(−β·D²k(Pθ, ˆPn)) π(dθ)，其中 Dk 为再生核希尔伯特空间中的 MMD。
• 基于到最近似模型分布 θ∗ 的 MMD 距离，引入一种鲁棒的先验质量条件，以确保后验集中。
• 使用高斯族进行变分推断，以近似难以计算的 MMD-Bayes 后验。
• 实现一种投影随机梯度算法（PSGAVI），通过重参数化与对数导数技巧推导的随机梯度，优化变分参数。
• 利用来自变分分布的蒙特卡洛样本，推导出均值和协方差参数的随机梯度估计器。

实验结果

研究问题

• RQ1 基于 MMD 作为分歧度量的贝叶斯后验是否能在模型误设下实现一致性和鲁棒性？
• RQ2 在模型正确设定和误设设定下，MMD-Bayes 后验是否以极小化最大最优速率 n−1/2 收敛？
• RQ3 MMD-Bayes 后验的变分近似是否能继承精确后验的相同理论保证？
• RQ4 在存在异常值的情况下，MMD-Bayes 估计器与经典估计器（如 MLE 和中位数）相比表现如何？
• RQ5 随机梯度算法能否高效计算 MMD-Bayes 后验的变分近似？

主要发现

• 在鲁棒先验质量条件下，MMD-Bayes 后验即使在真实分布不在模型中时，仍能达到极小化最大最优收敛速率 n−1/2。
• 理论分析表明，D²k(Pθ, P0) 的后验期望被有界于 8 infθ D²k(Pθ, P0) + 16/n，证实了其一致性和鲁棒性。
• 即使 P0 ∉ {Pθ : θ ∈ Θ}，后验在概率意义下以速率 n−1/2 聚集于最近的模型分布 θ∗。
• MMD-Bayes 后验的变分近似继承了与精确后验相同的收敛性与鲁棒性。
• 数值模拟表明，随着污染程度增加，MMD-Bayes 估计器在均方误差（MSE）方面优于 MLE 和中位数估计器，尤其在均匀位置与正态均值估计中存在异常值时表现更优。
• 当污染数据比例高达 20% 时，该方法仍保持稳定与准确，而 MLE 和矩量法估计器在相同条件下显著退化。