[论文解读] Improper posteriors are not improper

Gunnar Taraldsen, Jarle Tufto+1 more|arXiv (Cornell University)|Oct 24, 2017

Evaluation and Performance Assessment参考文献 14被引用 3

一句话总结

本文通过采用Rényi的条件概率空间，为贝叶斯推断建立了严格的公理化基础，证明了此前被认为在数学上无效的不当后验分布，在该框架下是自洽且有意义的。其核心贡献在于证明了在Rényi空间中条件期望的存在性与唯一性，从而解决了关于不当先验与后验分布的长期争议。

ABSTRACT

In 1933 Kolmogorov constructed a general theory that defines the modern concept of conditional expectation. In 1955 Renyi fomulated a new axiomatic theory for probability motivated by the need to include unbounded measures. We introduce a general concept of conditional expectation in Renyi spaces. In this theory improper priors are allowed, and the resulting posterior can also be improper. In 1965 Lindley published his classic text on Bayesian statistics using the theory of Renyi, but retracted this idea in 1973 due to the appearance of marginalization paradoxes presented by Dawid, Stone, and Zidek. The paradoxes are investigated, and the seemingly conflicting results are explained. The theory of Renyi can hence be used as an axiomatic basis for statistics that allows use of unbounded priors. Keywords: Haldane's prior; Poisson intensity; Marginalization paradox; Measure theory; conditional probability space; axioms for statistics; conditioning on a sigma field; improper prior

研究动机与目标

• 解决在贝叶斯统计中使用不当先验与后验分布所引发的哲学与数学争议。
• 证明不当后验并非本质上无效，而可在Rényi的公理化框架中得到严格解释。
• 为Rényi空间中的条件期望建立正式理论，使不当分布可作为有效的统计对象。
• 将不当后验的使用与标准的贝叶斯更新过程相协调，证明其在序列推断中的一致性。
• 通过证明看似矛盾源于对不当测度的误解而非理论缺陷，从而解决边缘化悖论。

提出的方法

• 采用Rényi的概率公理化框架，通过在‘集合簇’上定义条件概率，允许使用无界测度。
• 利用一个σ-有限且嵌套的集合族（即‘集合簇’）索引的概率测度族来定义Rényi空间，以表示不当分布。
• 利用Radon-Nikodym定理与广义的Rényi结构定理，证明Rényi空间中条件期望的存在性与唯一性。
• 将不当先验（如Haldane先验、ℝ上的均匀先验）解释为有限集上条件概率测度的等价类。
• 将该理论应用于标准例子：泊松过程强度的不当先验π(λ) ∝ 1/λ，以及伯努利成功概率的Haldane先验。
• 证明尽管不当后验并非概率测度，但其仍能体现信念的合理更新，并在序列观测下保持一致性。

实验结果

研究问题

• RQ1 不当后验是否能在一致的公理化概率框架中得到严格证明？
• RQ2 贝叶斯推断中的边缘化悖论是否源于理论缺陷，还是源于对不当测度的误解？
• RQ3 是否存在一个普遍的条件期望理论，能够容纳无界测度（如不当先验与后验）？
• RQ4 即使未归一化，不当后验是否仍能代表有效的贝叶斯更新？
• RQ5 如何将不当后验的使用与标准贝叶斯推断及序列更新过程相协调？

主要发现

• 不当后验在数学上并非无效；它们可在Rényi的条件概率框架中被严格定义。
• 通过Radon-Nikodym定理与广义Rényi结构定理，证明了Rényi空间中条件期望的存在性与唯一性。
• 通过证明看似矛盾源于对不当测度的不一致解释而非理论逻辑缺陷，解决了Dawid、Stone与Zidek提出的边缘化悖论。
• 在泊松过程例子中，当先验π(λ) ∝ 1/λ且观测X₁ = 0时，后验π(λ|x=0) ∝ e^{-λt₁}/λ虽为不当后验，但有效且反映了信念的合理更新。
• 不当后验可用作序列推断中的先验，最终后验与使用完整数据集结合原始先验所得结果一致。
• 该理论支持将无界分布（如ℝ上的均匀分布）作为合法的统计对象，其可解释为有限区间上条件概率的极限。