[论文解读] Generalized Bayesian Updating and the Loss-Likelihood Bootstrap

Simon Lyddon, Chris Holmes+1 more|arXiv (Cornell University)|Sep 22, 2017

Bayesian Methods and Mixture Models参考文献 17被引用 4

一句话总结

本文提出损失似然自展法（loss-likelihood bootstrap），一种将加权似然自展法扩展至贝叶斯非参数框架下后验抽样方法，用于参数最小化期望损失的情形。该方法通过渐近费雪信息校准损失函数，将之与一般贝叶斯更新相联系，从而在无需完整似然函数指定的情况下实现稳健的后验推断。

ABSTRACT

In this paper we revisit the weighted likelihood bootstrap, a method that generates samples from an approximate Bayesian posterior of a parametric model. We show that the same method can be derived, without approximation, under a Bayesian nonparametric model with the parameter of interest defined as minimising an expected negative log-likelihood under an unknown sampling distribution. This interpretation enables us to extend the weighted likelihood bootstrap to posterior sampling for parameters minimizing an expected loss. We call this method the loss-likelihood bootstrap. We make a connection between this and general Bayesian updating, which is a way of updating prior belief distributions without needing to construct a global probability model, yet requires the calibration of two forms of loss function. The loss-likelihood bootstrap is used to calibrate the general Bayesian posterior by matching asymptotic Fisher information. We demonstrate the methodology on a number of examples.

研究动机与目标

• 将加权似然自展法从基于似然的推断扩展至最小化一般期望损失函数的参数。
• 为加权似然自展法提供一个严谨的贝叶斯非参数解释，消除近似误差。
• 通过使用渐近费雪信息校准两个损失函数，建立基于损失的推断与一般贝叶斯更新之间的联系。
• 开发一种无需完整全局概率模型的后验抽样方法。
• 展示损失似然自展法在各类统计模型中的稳健性与灵活性。

提出的方法

• 在参数兴趣量最小化期望负对数似然的贝叶斯非参数模型下，推导加权似然自展法作为精确后验抽样方法。
• 将该方法推广至最小化任意期望损失函数的参数，引入损失似然自展法。
• 通过将后验的渐近费雪信息与参考模型的渐近费雪信息相匹配，建立损失似然自展法与一般贝叶斯更新之间的联系。
• 利用损失似然自展法的渐近费雪信息，对一般贝叶斯更新中所需的两个损失函数进行校准。
• 使用损失似然自展法生成在最小建模假设下渐近有效的后验样本。
• 将该方法应用于多种参数模型，以验证其性能与稳健性。

实验结果

研究问题

• RQ1 在贝叶斯非参数模型下，能否在无近似的情况下推导出加权似然自展法？
• RQ2 如何将加权似然自展法扩展至最小化一般损失函数的参数？
• RQ3 在损失校准方面，基于损失的推断与一般贝叶斯更新之间有何联系？
• RQ4 能否通过渐近费雪信息匹配，利用损失似然自展法校准一般贝叶斯后验？
• RQ5 损失似然自展法在不同统计模型中的实际表现如何？

主要发现

• 证明加权似然自展法在基于期望负对数似然的极小化风险准则的贝叶斯非参数模型下，与后验抽样完全等价。
• 损失似然自展法可实现对任意期望损失函数最小化参数的有效后验抽样，突破了基于似然推断的限制。
• 该方法通过使用渐近费雪信息校准损失函数，正式建立了基于损失的推断与一般贝叶斯更新之间的联系。
• 损失似然自展法后验的渐近费雪信息与参考似然后验的渐近费雪信息相匹配，确保了频率学派的有效性。
• 该方法在多个示例中被证明有效且稳健，包括全似然函数难以指定的模型。
• 当仅掌握损失函数时，损失似然自展法提供了一种实用且理论基础坚实的全贝叶斯建模替代方案。