[论文解读] Bayesian Posteriors Without Bayes' Theorem

Theodore P. Hill, Marco Dall’Aglio|arXiv (Cornell University)|Mar 1, 2012

Bayesian Modeling and Causal Inference参考文献 5被引用 3

一句话总结

本文表明，贝叶斯后验分布自然地成为多个优化问题的唯一解——最小化香农信息损失、最小化最大似然比，以及确保比例整合——而无需依赖贝叶斯定理或条件概率的解释。其核心贡献是通过信息论和优化原理，为贝叶斯后验提供了一个基础性解释，实现了经典统计学与贝叶斯统计学的调和。

ABSTRACT

The classical Bayesian posterior arises naturally as the unique solution of several different optimization problems, without the necessity of interpreting data as conditional probabilities and then using Bayes' Theorem. For example, the classical Bayesian posterior is the unique posterior that minimizes the loss of Shannon information in combining the prior and the likelihood distributions. These results, direct corollaries of recent results about conflations of probability distributions, reinforce the use of Bayesian posteriors, and may help partially reconcile some of the differences between classical and Bayesian statistics.

研究动机与目标

• 在不依赖条件概率或贝叶斯定理的前提下，将贝叶斯后验确立为涉及信息损失的优化问题的唯一解。
• 通过证明贝叶斯后验自然地源于信息论优化，实现经典统计学与贝叶斯统计学框架的调和。
• 将后验分布推广至加权先验和似然分布的情形，其中先验与似然被赋予不同的权重。
• 识别出使加权香农信息损失最大值最小化的最优后验，从而扩展经典贝叶斯框架。

提出的方法

• 将先验与似然的联合香农信息形式化为各自惊讶值之和：$ S_{\{P_0,L\}}(A) = -\log_2 P_0(A)L(A) $。
• 将信息损失定义为联合惊讶值与后验惊讶值之间最大差值：$ M(P_1; P_0, L) = \max_A \left\{ \log_2 \frac{P_1(A)}{P_0(A)L(A)} \right\} $。
• 识别出贝叶斯后验为最小化此最大信息损失的唯一分布。
• 引入使用相对权重 $ w_0 $ 和 $ w_L $ 的香农信息加权版本，通过 $ \max(w_0, w_L) $ 进行归一化。
• 推导出最优加权后验为 $ p^w_1(\theta) \propto (p_0(\theta))^{w_0 / \max(w_0,w_L)} (p_L(\theta))^{w_L / \max(w_0,w_L)} $，当 $ w_0 = w_L $ 时退化为标准贝叶斯后验。
• 建立贝叶斯后验与最小最大似然比及比例整合标准解之间的等价性。

实验结果

研究问题

• RQ1 能否在不使用贝叶斯定理或条件概率的情况下推导出贝叶斯后验？
• RQ2 贝叶斯后验是否是通过最小化先验与似然结合过程中的香农信息损失这一优化问题的唯一解？
• RQ3 当先验与似然被赋予不同权重时，贝叶斯后验如何推广？
• RQ4 贝叶斯后验是否也最小化先验与似然分布之间的最大最小似然比？
• RQ5 贝叶斯后验是否是先验与似然分布的唯一比例整合？

主要发现

• 贝叶斯后验是唯一在结合先验与似然分布时最小化最大香农信息损失的分布。
• 贝叶斯后遗症也最小化了先验与似然之间的最大最小似然比，证实其在另一准则下仍具最优性。
• 贝叶斯后验是先验与似然的唯一比例整合，意味着其保持了不同结果之间相对优势的不变性。
• 当先验与似然被赋予不同权重 $ w_0 $ 与 $ w_L $ 时，最优后验由先验与似然密度的幂加权乘积给出，并经归一化处理。
• 当 $ w_0 = w_L $ 时，加权后验退化为标准贝叶斯后验，确认其与经典贝叶斯更新的一致性。
• 研究结果基于信息论与优化原理，为贝叶斯后验提供了非贝叶斯基础，支持其在各类统计范式中的应用。