[论文解读] Tractable Fully Bayesian Inference via Convex Optimization and Optimal Transport Theory

Sanggyun Kim, Diego Mesa+2 more|arXiv (Cornell University)|Sep 29, 2015

Gaussian Processes and Bayesian Inference参考文献 30被引用 4

一句话总结

本文提出了一种基于凸优化与最优传输理论的可处理框架，实现完全贝叶斯推断，可在先验与似然函数均为对数凹函数时，高效地从后验分布中抽样并计算贝叶斯风险。关键贡献在于，对数凹性——此前仅对MAP估计充分——也确保了通过最优传输映射实现归一化常数的可处理计算与独立同分布的后验抽样。

ABSTRACT

We consider the problem of transforming samples from one continuous source distribution into samples from another target distribution. We demonstrate with optimal transport theory that when the source distribution can be easily sampled from and the target distribution is log-concave, this can be tractably solved with convex optimization. We show that a special case of this, when the source is the prior and the target is the posterior, is Bayesian inference. Here, we can tractably calculate the normalization constant and draw posterior i.i.d. samples. Remarkably, our Bayesian tractability criterion is simply log concavity of the prior and likelihood: the same criterion for tractable calculation of the maximum a posteriori point estimate. With simulated data, we demonstrate how we can attain the Bayes risk in simulations. With physiologic data, we demonstrate improvements over point estimation in intensive care unit outcome prediction and electroencephalography-based sleep staging.

研究动机与目标

• 解决高维设置下完全贝叶斯推断的计算不可行性，特别是归一化常数 βy 的不可行性。
• 通过实现从完整后验分布中精确且可处理的抽样，克服MCMC与变分推断的局限性。
• 开发一种通用的不确定性量化框架，用于贝叶斯推断，避免蒙特卡洛近似与收敛性问题。
• 证明与MAP估计中相同的对数凹性条件，也可通过最优传输实现可处理的完整贝叶斯推断。
• 通过计算条件期望与信息度量（如后验信息增益与互信息）实现实际的贝叶斯决策。

提出的方法

• 将贝叶斯推断表述为通过最优传输映射将先验分布样本转换为后验分布样本。
• 使用凸优化计算最小化先验与后验分布之间Kullback-Leibler散度的最优传输映射。
• 利用后验的对数凹性，确保所得优化问题为凸且可处理。
• 通过参数化族的单调、可微变换（如归一化流）构建传输映射，同时保持对数凹性结构。
• 利用学习到的传输映射生成独立同分布的后验样本，无需MCMC或重要性采样。
• 使用变换后的样本计算贝叶斯决策规则（如贝叶斯风险）与信息论度量（如互信息）。

实验结果

研究问题

• RQ1 当后验为对数凹函数时，是否可使用凸优化实现完全贝叶斯推断的可处理性？
• RQ2 与MAP估计中确保可处理性的相同对数凹性条件，是否也能实现后验抽样与归一化常数计算的可处理性？
• RQ3 最优传输映射是否可用于将先验样本转换为独立同分布的后验样本，同时保持分布精度？
• RQ4 在分类与结果预测等决策任务中，使用完整后验期望相较于点估计是否带来性能提升？
• RQ5 与标准MAP估计和MCMC相比，所提方法在预测准确率与计算效率方面表现如何？

主要发现

• 所提方法利用凸优化，实现了对对数凹后验的归一化常数 βy 的精确、可处理计算。
• 与MAP估计中确保可处理性的相同对数凹性条件，也确保了通过最优传输实现可处理的完整贝叶斯推断。
• 该方法无需MCMC即可生成独立同分布的后验样本，避免了预 burn-in 与收敛性问题。
• 在ICU结果预测中，基于完整后验期望的贝叶斯决策规则显著优于基于MAP的决策规则，AUC表现更优。
• 该框架可准确计算后验信息增益与互信息，支持序贯实验设计与图模型构建。
• 该方法具有通用性，可扩展至贝叶斯推断之外，潜在应用于数据压缩与消息传递系统。