[论文解读] Bayesian fractional posteriors

Anirban Bhattacharya, Debdeep Pati+1 more|arXiv (Cornell University)|Nov 3, 2016

Gaussian Processes and Bayesian Inference参考文献 43被引用 8

一句话总结

本文引入了贝叶斯分数后验分布——通过将似然函数提升到小于1的幂次（即分数似然）更新的后验分布——并建立了其在模型错误设定下的收缩性质。关键贡献在于提出了一种新颖的先验质量条件，该条件针对Kullback-Leibler邻域，确保了在无需构造筛法或测试函数的情况下实现频率学收缩，从而支持更广泛的先验选择，并在非参数回归与密度估计中实现更精确的Oracle不等式。

ABSTRACT

We consider the fractional posterior distribution that is obtained by updating a prior distribution via Bayes theorem with a fractional likelihood function, a usual likelihood function raised to a fractional power. First, we analyze the contraction property of the fractional posterior in a general misspecified framework. Our contraction results only require a prior mass condition on certain Kullback-Leibler (KL) neighborhood of the true parameter (or the KL divergence minimizer in the misspecified case), and obviate constructions of test functions and sieves commonly used in the literature for analyzing the contraction property of a regular posterior. We show through a counterexample that some condition controlling the complexity of the parameter space is necessary for the regular posterior to contract, rendering additional flexibility on the choice of the prior for the fractional posterior. Second, we derive a novel Bayesian oracle inequality based on a PAC-Bayes inequality in misspecified models. Our derivation reveals several advantages of averaging based Bayesian procedures over optimization based frequentist procedures. As an application of the Bayesian oracle inequality, we derive a sharp oracle inequality in the convex regression problem under an arbitrary dimension. We also illustrate the theory in Gaussian process regression and density estimation problems.

研究动机与目标

• 在模型错误设定的非独立同分布（non-i.i.d.）模型中，建立贝叶斯分数后验分布的后验收缩性质。
• 识别出可绕过传统筛法与测试函数构造的收缩最小条件。
• 基于PAC-Bayes理论，在模型错误设定下推导出一种新颖的贝叶斯Oracle不等式。
• 展示基于平均化方法的贝叶斯方法相较于基于优化的频率学方法具有更优性能。
• 将理论结果应用于凸回归、高斯过程回归以及密度估计，并实现接近极小极大最优的收敛速率。

提出的方法

• 论文使用Rényi散度度量分析收缩性质，重点研究幂次α < 1的分数似然。
• 仅基于先验质量在真实分布或最小化分布的Kullback-Leibler邻域中的分配，建立收缩速率。
• 利用PAC-Bayes不等式推导贝叶斯Oracle不等式，将后验集中与风险最小化相联系。
• 该方法避免了筛法或测试函数的构造，转而依赖于先验质量与似然函数尾部行为。
• 通过度量熵与先验集中性论证，将理论结果应用于形状约束模型，包括凸回归。
• 通过重尾先验下的密度估计与回归示例验证该框架，证明分数后验可实现可证明的极小极大收敛速率。

实验结果

研究问题

• RQ1 在模型错误设定下，分数后验在何种条件下会收缩至Kullback-Leibler最小化分布？
• RQ2 是否可在不构造筛法或测试函数的前提下保证后验收缩？
• RQ3 与常规后验相比，分数后验在先验灵活性与收缩速率方面表现如何？
• RQ4 Rényi散度与先验质量在决定收缩行为中起何种作用？
• RQ5 能否在模型错误设定下推导出一种优于频率学优化方法的贝叶斯Oracle不等式？

主要发现

• 分数后验的收缩速率仅由先验在KL邻域中的质量决定，无需构造筛法。
• 收缩速率是精确的，在任意维度下于凸回归中可实现近乎极小极大的性能。
• 该方法允许在密度估计中使用重尾超先验，而常规后验则无法实现集中。
• 基于PAC-Bayes推导出一种新颖的贝叶斯Oracle不等式，揭示了贝叶斯平均化相对于频率学优化的优势。
• 在高斯过程回归与密度估计中，分数后验在温和条件下可实现极小极大速率。
• 理论表明，与常规后验需满足严格条件不同，分数后验允许在先验选择上具有额外灵活性。