[论文解读] Parameter estimation with a class of outer probability measures

Jérémie Houssineau|arXiv (Cornell University)|Jan 2, 2018

Bayesian Modeling and Causal Inference参考文献 44被引用 7

一句话总结

本文提出了一种新颖的统计框架，通过外概率测度（o.p.m.s）统一了随机性和确定性不确定性，实现了在复杂模型中稳健的参数估计。通过用上确界替代概率积分，并将可能性函数视为先验，该方法在保持关键概率性质的同时，推广了贝叶斯推断，为不当先验提供了有原则的替代方案，并提升了机器学习和信号处理中的可扩展性。

ABSTRACT

We explore the interplay between random and deterministic phenomena using a representation of uncertainty based on the measure-theoretic concept of outer measure. The meaning of the analogues of different probabilistic concepts is investigated and examples of application are given. The novelty of this article lies mainly in the suitability of the tools introduced for jointly representing random and deterministic uncertainty. These tools are shown to yield intuitive results in simple situations and to generalise easily to more complex cases. Connections with Dempster-Shafer theory, the empirical Bayes methods and generalised Bayesian inference are also highlighted.

研究动机与目标

• 开发一种基于外测度的有原则的统计框架，整合随机性和确定性不确定性。
• 解决标准贝叶斯推断的局限性，特别是不当先验和超参数信息不足的问题。
• 在统一的测度论结构中推广经验贝叶斯和广义贝叶斯推断。
• 为机器学习和复杂统计模型中的不确定性量化提供直观且可扩展的工具。

提出的方法

• 本文引入不确定变量以表示固定但未知的参数，通过外概率测度（o.p.m.s）进行建模，该测度放松了可加性要求。
• 定义可能性函数为非负函数且上确界为1，用于表示确定性不确定性。
• 该框架用上确界运算替代概率积分，使得 p(φ) 变为 θ ∈ Θ 上 φ(θ) 的上确界。
• 在推断中，使用 o.p.m.s 通过最大混合规则定义后验分布，例如当 f_θ̃(0)=α, f_θ̃(1)=β 时，p_X(φ|X=θ̃) = [α(1−p)φ(0) + βpφ(1)] / [α(1−p) + βp]。
• 区分了两种不确定性顺序：先 θ̃ 后 X，以及先 X 后 θ̃，导致不同的 o.p.m. 表述形式。
• 该方法被证明可推广 Dempster-Shafer 理论和经验贝叶斯方法，并与广义贝叶斯推断建立联系。

实验结果

研究问题

• RQ1 如何在统计推断框架中严格建模由信息不足引起的确定性不确定性？
• RQ2 外概率测度是否能在允许不确定性非可加表示的同时，保持贝叶斯推断的关键性质？
• RQ3 当标准贝叶斯方法因不当先验或信息不足的数据而失效时，该框架如何处理此类情况？
• RQ4 可能性函数作为先验在参数估计中的作用是什么？与标准概率分布相比有何差异？
• RQ5 该框架在复杂模型中，特别是在机器学习和信号处理中，如何提升可扩展性和鲁棒性？

主要发现

• 该框架成功利用外概率测度对确定性不确定性进行建模，允许在标准概率失效时采用非可加表示。
• 当可能性函数为无信息状态（在所有 θ 上上确界为1）时，o.p.m. 框架下的后验分布与先验相同，反映数据未带来信息增益。
• 对于无信息 θ̃ 的公平硬币，后验 o.p.m. 满足 P_θ̃(φ|X=θ̃) = P_θ̃(φ)，确认 X=θ̃ 为无信息。
• 在有偏硬币且可能性函数具信息量的情况下，后验 o.p.m. 产生保持直观行为的最大混合规则，如 P_θ̃(φ|X=θ̃) = [max{α(1−p)φ(0), βpφ(1)}] / [max{α(1−p), βp}]。
• 该框架推广了经验贝叶斯和广义贝叶斯推断，表明这些方法自然地从 o.p.m. 结构中涌现。
• 该方法实现了对不当先验和信息缺失的有原则处理，避免了标准贝叶斯方法的数学陷阱。