[论文解读] A detailed treatment of Doob's theorem

Jeffrey W. Miller|arXiv (Cornell University)|Jan 9, 2018

Advanced Topology and Set Theory参考文献 5被引用 7

一句话总结

本文提供了对贝叶斯统计中杜布后验一致性定理的完整且严谨的证明，证明在温和的正则性和可识别性条件下，随着数据积累，后验分布几乎必然集中在真实参数附近。主要贡献在于对定理有效性所必需的非平凡可测性条件进行了详细分析，特别是证明了真实参数几乎必然可作为无限数据序列的可测函数被恢复。

ABSTRACT

Doob's theorem provides guarantees of consistent estimation and posterior consistency under very general conditions. Despite the limitation that it only guarantees consistency on a set with prior probability 1, for many models arising in practice, Doob's theorem is an easy way of showing that consistency will hold almost everywhere. In this article, we give a detailed proof of Doob's theorem.

研究动机与目标

• 提供杜布定理的完全详细且自包含的证明，该定理在最小假设下保证后验一致性。
• 解决杜布原始论证中的基础可测性问题：证明真实参数 θ₀ 是无限数据序列 (X₁,X₂,…) 的可测函数。
• 阐明后验集中性和后验均值一致性在联合测度 μ 下以几乎必然方式成立的条件。
• 弥补先前对杜布定理处理中的漏洞，这些处理往往省略或过度简化了技术性的测度论论证。
• 为在实际贝叶斯模型中应用杜布定理建立理论基础，特别是在非参数和无限维设定中。

提出的方法

• 使用 π–λ 定理证明对所有 A ∈ A∞，映射 θ ↦ P∞θ(A) 是可测的，从而确保联合测度 μ 的良好定义。
• 应用鞅收敛定理以建立后验均值和后验分布的几乎必然收敛。
• 构造一个可测函数 f，使得 θ₀ = f(X₁,X₂,…) 几乎必然成立，这是证明后验一致性的核心。
• 通过验证对所有 E ∈ A∞ ⊗ B，P∞θ(Eθ) 的可测性，证明 (X∞, Θ) 上的联合分布 μ 在乘积空间上是良好定义的。
• 利用可测族假设（对所有 A ∈ A，θ ↦ Pθ(A) 是可测的）通过 π–λ 定理将可测性扩展到乘积空间。
• 仔细处理乘积 σ-代数和条件分布，以确保后验推断中的所有操作都是可测的。

实验结果

研究问题

• RQ1 在什么一般条件下，后验分布会随着 n → ∞ 几乎必然集中在真实参数 θ₀ 附近？
• RQ2 如何严格证明真实参数 θ₀ 是无限数据序列 (X₁,X₂,…) 的可测函数？
• RQ3 可识别性假设在确保杜布定理中后验一致性方面起什么作用？
• RQ4 为什么杜布定理仅在先验概率为 1 的集合上保证一致性？这对模型选择和先验设定有何影响？
• RQ5 杜布定理中的技术性可测性条件如何影响该定理在无限维模型中的适用性？

主要发现

• 杜布定理保证了对任意可测函数 g(θ)，只要 E|g(θ̂)| < ∞，在模型可识别且族 {Pθ} 可测的条件下，后验一致性几乎必然成立。
• 核心技术贡献在于证明了 θ₀ 是无限数据序列 (X₁,X₂,…) 的可测函数，这对鞅论证的应用至关重要。
• 在 (X∞, Θ) 上的联合测度 μ 是良好定义的，因为对所有 E ∈ A∞ ⊗ B，映射 θ ↦ P∞θ(Eθ) 是可测的，该结论通过 π–λ 定理建立。
• 后验均值一致性源于适应于数据生成滤子的鞅的几乎必然收敛。
• 即使 Θ 是一般的完备可分度量空间（不一定是有限维的），该结果仍然成立，从而扩展了杜布原始结果的适用范围。
• 该证明阐明了为何在单点上具有先验质量会导致在该点之外出现一致性失败，从而验证了对杜布定理在病态情形下批评的合理性。