[论文解读] Ergodic theorems for imprecise probability kinematics

Michele Caprio, Sayan Mukherjee|arXiv (Cornell University)|Mar 13, 2020

Bayesian Modeling and Causal Inference参考文献 10被引用 1

一句话总结

本文为上界概率动力学发展了一套遍历理论，通过杰弗里规则在数据累积过程中更新一组先验 𝒫。它在不可数样本空间中建立了大数定律的强形式，并证明了下概率几乎必然收敛到一个区间，为在先验模糊性下的信念更新提供了一个稳健的框架。

ABSTRACT

In a standard Bayesian setting, there is often ambiguity in prior choice, as one may have not sufficient information to uniquely identify a suitable prior probability measure encapsulating initial beliefs. To overcome this, we specify a set $\mathcal{P}$ of plausible prior probability measures; as more and more data are collected, $\mathcal{P}$ is updated using Jeffrey's rule of conditioning, an alternative to Bayesian updating which proves to be more philosophically compelling in many situations. We build the sequence $(\mathcal{P}^*_k)$ of successive updates of $\mathcal{P}$ and we provide an ergodic theory to analyze its limit, for both countable and uncountable sample spaces. A result of this ergodic theory is a strong law of large numbers in the uncountable setting. We also give an interval that almost surely contains lower probabilities associated with the elements of $(\mathcal{P}^*_k)$.

研究动机与目标

• 为解决贝叶斯推断中的先验模糊性问题，即当信息不足时单一先验无法充分代表初始信念。
• 开发一种基于杰弗里规则的动态更新机制，用于一组合理的先验概率测度 𝒫，该规则比标准贝叶斯条件化更具哲学说服力。
• 为随着数据累积而更新的集合序列 (𝒫*ₖ) 建立遍历理论，以支持长期收敛性分析。
• 在不可数样本空间设定下推导出大数定律的强形式，将频率学派收敛性扩展至上界概率模型。
• 识别出一个几乎必然包含更新集合 𝒫*ₖ 的下概率的区间，从而提供稳健的不确定性量化。

提出的方法

• 本文通过一组先验概率测度 𝒫 来建模初始不确定性，以表示一系列合理的信念范围。
• 应用杰弗里规则对 𝒫 进行序列更新，随着新数据的到来生成一系列更新后的集合 (𝒫*ₖ)。
• 分析涵盖可数与不可数样本空间，特别关注不可数情形。
• 运用遍历理论研究 (𝒫*ₖ) 的渐近行为，重点分析下概率的收敛性质。
• 关键组成部分包括使用下概率评估和几乎必然收敛结果，以表征更新集合的极限行为。
• 该框架利用测度论工具，确保在不可数设定下的数学严谨性。

实验结果

研究问题

• RQ1 当单一先验不足以代表初始信念时，如何系统性地解决贝叶斯推断中的先验模糊性问题？
• RQ2 随着数据累积，通过杰弗里规则更新的一组先验的长期行为如何？
• RQ3 在此更新机制下，不可数样本空间中的上界概率是否满足大数定律的强形式？
• RQ4 随着数据增长，能否识别出一个几乎必然包含更新集合 𝒫*ₖ 的下概率的区间？
• RQ5 在此上界概率动力学框架下，下概率的收敛性质是什么？

主要发现

• 在不可数样本空间设定下建立了大数定律的强形式，将频率学派收敛性扩展至上界概率模型。
• 更新集合序列 (𝒫*ₖ) 以分布方式收敛，使得下概率几乎必然位于指定区间内。
• 包含下概率的区间在反复应用杰弗里规则下几乎必然有界且稳定。
• 所发展的遍历理论确保了更新集合的长期行为可预测且数学上一致。
• 该框架为在先验指定模糊时提供了稳健的非贝叶斯更新替代方案。
• 结果证实了在数据累积下，即使不存在唯一先验，上界概率模型仍具一致性和收敛性。