[论文解读] Bayesian Posterior Perturbation Analysis with Integral Probability Metrics

Alfredo Garbuno-Iñigo, Tapio Helin+2 more|arXiv (Cornell University)|Mar 2, 2023

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

本文提出了一种新颖的框架，用于在似然势和先验受到扰动时，利用积分概率度量（IPMs）分析贝叶斯后验度量的稳定性，特别针对非线性和局部Lipschitz似然情形。该框架建立了通过深度神经网络代理和数据驱动先验进行后验近似的收敛速率，克服了传统分歧度量（如总变差或Hellinger距离）对绝对连续性要求的局限性。

ABSTRACT

In recent years, Bayesian inference in large-scale inverse problems found in science, engineering and machine learning has gained significant attention. This paper examines the robustness of the Bayesian approach by analyzing the stability of posterior measures in relation to perturbations in the likelihood potential and the prior measure. We present new stability results using a family of integral probability metrics (divergences) akin to dual problems that arise in optimal transport. Our results stand out from previous works in three directions: (1) We construct new families of integral probability metrics that are adapted to the problem at hand; (2) These new metrics allow us to study both likelihood and prior perturbations in a convenient way; and (3) our analysis accommodates likelihood potentials that are only locally Lipschitz, making them applicable to a wide range of nonlinear inverse problems. Our theoretical findings are further reinforced through specific and novel examples where the approximation rates of posterior measures are obtained for different types of perturbations and provide a path towards the convergence analysis of recently adapted machine learning techniques for Bayesian inverse problems such as data-driven priors and neural network surrogates.

研究动机与目标

• 为解决在先验扰动下，特别是非等价或奇异先验情形中，贝叶斯后验度量缺乏稳健稳定性分析的问题。
• 开发一种基于积分概率度量（IPMs）的灵活框架，可同时处理似然和先验的扰动，且无需绝对连续性要求。
• 将收敛性分析扩展至现代机器学习技术，如深度神经网络代理和数据驱动先验，在高维或函数型贝叶斯反问题中的应用。
• 为局部Lipschitz似然势下的后验近似速率提供理论保证，此类势函数在非线性反问题中极为常见。
• 克服现有分歧度量（如总变差和Hellinger距离）的局限性，这些度量在先验测度因扰动而变为奇异时会失效。

提出的方法

• 作者定义了一类适应问题结构的IPMs，采用源自最优传输的对偶形式来度量后验分歧。
• 提出一个基于假设1的一般性稳定性框架，该假设通过参考函数 h(u;y) 和类似距离的函数 c，界定了扰动后似然势与真实似然势之间的差异。
• 利用似然势的解析延拓性质，推导出深度神经网络近似中的指数收敛速率。
• 将定理3.2应用于以似然势近似误差表示真实后验 ν 与近似后验 ν^N 之间的IPM界。
• 通过使用如Wasserstein度量等IPMs，处理非等价先验，此类度量不要求测度之间具有绝对连续性。
• 通过一个具体实例验证该方法：ReLU深度神经网络近似解析似然函数，得到网络规模的指数收敛速率。

实验结果

研究问题

• RQ1 当似然势仅为局部Lipschitz或非光滑时，能否建立贝叶后验度量在似然势扰动下的收敛速率？
• RQ2 当先验及其扰动彼此奇异（如在数据驱动或前推先验中）时，如何分析后验稳定性？
• RQ3 能否将收敛性分析扩展至贝叶斯反问题中似然函数的深度神经网络代理，特别是当真实似然为解析函数时？
• RQ4 哪些基于IPM的分歧度量可实现无需先验与扰动先验之间绝对连续性的稳定后验分析？
• RQ5 在似然和先验均被近似（如现代机器学习应用中）时，如何量化贝叶斯推断的鲁棒性？

主要发现

• 本文建立了形如 $ \mathcal{D}(\nu, \nu^N; c) \leq C\|c(\cdot,0)\|_{L^1(\mu)} \exp\left(-\kappa M^{\frac{1}{d+1}}\right) $ 的指数收敛速率，其中 $ M $ 为网络规模，适用于解析似然势的深度神经网络近似。
• 该框架使得即使在先验及其扰动彼此奇异时，也能对数据驱动先验和前推先验实现稳定性分析，而这是总变差或Hellinger度量所排除的情形。
• 使用如Wasserstein度量等IPMs，可在无需扰动先验相对于原始先验绝对连续的条件下，实现对后验扰动的稳健分析。
• 该方法适用于仅为局部Lipschitz的似然势，从而拓宽了其在非线性和非光滑反问题中的适用范围。
• 通过一个新颖实例进一步验证了理论结果：ReLU DNN 能够以网络规模的指数精度近似解析似然函数，从而导出相应的后验收敛速率。
• 该框架为高级机器学习技术（如神经网络代理和数据驱动先验）在贝叶斯反问题中的收敛性分析提供了可行路径。