[论文解读] Combining probability distributions: Extending the logarithmic pooling approach

Luiz Max Carvalho, Daniel Antunes Maciel Villela+2 more|arXiv (Cornell University)|Feb 14, 2015

COVID-19 epidemiological studies参考文献 40被引用 4

一句话总结

本文通过引入层次贝叶斯方法从数据中学习专家权重，扩展了对数池化以组合概率分布，实现了不确定性量化和先验-数据冲突的解决。结果表明，对权重施加层次先验可提升生存分析、元分析和流行病学模型贝叶斯融合中的鲁棒性与适应性。

ABSTRACT

Combining distributions is an important issue in decision theory and Bayesian inference. Logarithmic pooling is a popular method to aggregate expert opinions by using a set of weights that reflect the reliability of each information source. However, the resulting pooled distribution depends heavily on set of weights given to each opinion/prior and thus careful consideration must be given to the choice of weights. In this paper we review and extend the statistical theory of logarithmic pooling, focusing on the assignment of the weights using a hierarchical prior distribution. We explore several statistical applications, such as the estimation of survival probabilities, meta-analysis and Bayesian melding of deterministic models of population growth and epidemics. We show that it is possible learn the weights from data, although identifiability issues may arise for some configurations of priors and data. Furthermore, we show how the hierarchical approach leads to posterior distributions that are able to accommodate prior-data conflict in complex models.

研究动机与目标

• 解决在专家可靠性不确定时，为专家意见在概率分布池化中分配可靠权重的挑战。
• 通过在专家可靠性中引入不确定性，克服固定权重或基于最优性的权重分配方法的局限，采用层次贝叶斯模型。
• 实现基于数据的池化权重学习，以改善复杂模型中潜在先验-数据冲突下的共识形成。
• 展示层次对数池化在实际统计应用（如生存概率估计和贝叶斯融合）中的实用性。
• 为在权重上使用层次先验以保持一致性和灵活性提供理论与实证依据。

提出的方法

• 使用对数池化通过密度函数的加权几何平均组合专家意见：$\pi(\theta|\boldsymbol{\alpha}) = t(\boldsymbol{\alpha}) \prod_{i=0}^{K} f_i(\theta)^{\alpha_i}$，其中 $t(\boldsymbol{\alpha})$ 确保归一化。
• 在权重向量 $\boldsymbol{\alpha}$ 上引入层次先验，使权重可通过贝叶斯推断从数据中学习。
• 将层次模型应用于生存分析、元分析和确定性模型的贝叶斯融合等场景中估计权重。
• 利用对数凹成分分布可保持池化后分布为对数凹的性质，从而通过切片抽样或变分方法实现高效采样。
• 利用权重的后验分布检测并处理先验-数据冲突，特别是在专家先验与观测数据矛盾时。
• 将层次加权与点估计方法（如熵最大化、KL散度最小化）进行比较，强调对权重进行完整后验推断的优势。

实验结果

研究问题

• RQ1 如何通过从数据中学习可靠性权重而非预先固定权重，使专家意见池化方法适应数据？
• RQ2 在对数池化中对权重施加层次先验的理论与实际影响是什么？
• RQ3 在流行病传播模型等复杂模型中，层次加权在多大程度上提升了对先验-数据冲突的鲁棒性？
• RQ4 池化分布的对数凹性在高维设置下如何影响计算效率与采样性能？
• RQ5 在一致性与不确定性量化方面，层次对数池化是否优于熵最大化或KL散度最小化等点估计方法？

主要发现

• 层次先验方法使权重能够从数据中学习，支持随着新证据出现而顺序更新专家可靠性。
• 当所有个体专家分布均为对数凹分布时，池化分布保持对数凹性，从而保留对MCMC和变分推断的计算优势。
• 该方法通过降低与观测数据矛盾的专家的权重，有效解决了先验-数据冲突，尤其在贝叶斯融合应用中表现显著。
• 通过为所有专家意见分配非零概率，该方法避免违反Cromwell法则，即使某些意见看似不可信。
• 在生存分析和元分析中的实证应用表明，与固定权重方法相比，层次池化可产生更一致且更鲁棒的后验推断。
• 该框架为点估计权重分配提供了原则性替代方案，提供对权重的完整后验推断，显著提升不确定性量化能力。