[论文解读] Bayesian estimators of the Gamma distribution

Alberto Llera, Christian F. Beckmann|arXiv (Cornell University)|Jul 12, 2016

Bayesian Methods and Mixture Models参考文献 7被引用 3

一句话总结

本文提出两种新颖的贝叶斯估计器，用于伽马分布的形状与尺度参数，采用未归一化的共轭先验和拉普拉斯近似，以处理形状参数缺乏恰当共轭先验的问题。主要贡献在于使伽马分布能够被整合进复杂的贝叶斯模型（如变分贝叶斯混合模型），在可控偏差下实现最大似然解的收敛。

ABSTRACT

In this paper we introduce two Bayesian estimators for learning the parameters of the Gamma distribution. The first algorithm uses a well known unnormalized conjugate prior for the Gamma shape and the second one uses a non-linear approximation to the likelihood and a prior on the shape that is conjugate to the approximated likelihood. In both cases use the Laplace approximation to compute the required expectations. We perform a theoretical comparison between maximum like- lihood and the presented Bayesian algorithms that allow us to provide non-informative parameter values for the priors hyper parameters. We also provide a numerical comparison using synthetic data. The introduction of these novel Bayesian estimators open the possibility of including Gamma distributions into more complex Bayesian structures, e.g. variational Bayesian mixture models.

研究动机与目标

• 为解决伽马分布形状参数缺乏恰当共轭先验的问题，该问题阻碍了完整的贝叶斯推断。
• 开发计算高效且解析可处理的伽马分布数据贝叶斯估计方法。
• 确保在非信息性超参数设置下，贝叶斯估计器收敛至最大似然解，从而与现有最大似然框架兼容。
• 支持将伽马分布整合进高级贝叶斯模型，如变分贝叶斯混合模型和多变量分解模型。
• 提供所提估计器偏差特性与计算效率的理论和数值验证。

提出的方法

• 提出一种贝叶斯估计器（BL1），使用形状参数的未归一化共轭先验，该先验源自涉及率参数及超参数 a, b, c 的非标准形式。
• 利用拉普拉斯近似计算形状参数的后验期望，避免处理难以计算的积分。
• 引入第二种贝叶斯估计器（BL2），其采用伽马对数似然的非线性近似，并在该近似下对形状参数使用共轭先验。
• 在两种方法中均对形状参数的后验应用拉普拉斯近似，从而实现后验期望的闭式估计。
• 推导形状与尺度参数的后验超参数，其中尺度参数通过标准的伽马-伽马共轭更新进行更新。
• 通过选择超参数使后验收敛至最大似然估计，实现非信息性先验设置，特别是令 b, c → 0+，并相应调整 a。

实验结果

研究问题

• RQ1 尽管形状参数缺乏恰当共轭先验，是否仍可构建伽马分布形状参数的贝叶斯估计器？
• RQ2 如何有效应用拉普拉斯近似，在非共轭设置下计算形状参数的后验期望？
• RQ3 在非信息性超参数设置下，所提贝叶斯估计器是否收敛至最大似然解？
• RQ4 与最大似然方法相比，贝叶斯估计器的计算效率与偏差行为如何？
• RQ5 这些贝叶斯估计器能否扩展至复杂模型，如变分贝叶斯混合模型？

主要发现

• 当使用非信息性超参数时，所提贝叶斯估计器（BL1 和 BL2）实现最大似然解的收敛，特别是当 b, c → 0+ 且 a 适切选择时。
• 两种贝叶斯估计器的计算成本与最大似然方法相当，其中 BL2 因采用非线性似然近似，显著快于 ML2。
• 数值实验表明，贝叶斯估计器表现出与最大似然估计器相同的偏差特性，小样本情况下仅需极少偏差校正。
• 拉普拉斯近似为形状参数后验均值估计提供了稳定且准确的方法，模拟中后验均值紧密逼近真实值。
• 形状参数的后验超参数（â, b̂, ĉ）通过依赖充分统计量与先验超参数的闭式表达式进行更新。
• 该框架由于其解析可处理性及与共轭更新的兼容性，使伽马分布能够被整合进更高阶贝叶斯模型，如变分贝叶斯混合模型和多变量分解模型。