[论文解读] Assigning a value to a power likelihood in a general Bayesian model

Chris Holmes, Stephen G. Walker|arXiv (Cornell University)|Jan 30, 2017

Statistical Methods and Inference参考文献 12被引用 26

一句话总结

本文提出了一种一致的信息论方法，用于在统计模型被错误设定时校准广义贝叶斯推断中的功率参数 $ w $。通过使标准似然模型与加权似然模型下先验与后验之间的先验期望信息增益相等，该方法确保了学习的一致性，并在模型正确时自动设定 $ w=1 $，而 $ w \neq 1 $ 表明模型设定错误，并据此调整学习速度。

ABSTRACT

Bayesian approaches to data analysis and machine learning are widespread and popular as they provide intuitive yet rigorous axioms for learning from data; see Bernardo and Smith (2004) and Bishop (2006). However, this rigour comes with a caveat that the Bayesian model is a precise reflection of Nature. There has been a recent trend to address potential model misspecification by raising the likelihood function to a power, primarily for robustness reasons, though not exclusively. In this paper we provide a coherent specification of the power parameter once the Bayesian model has been specified in the absence of a perfect model.

研究动机与目标

• 解决贝叶斯推断中的模型错误设定问题，即所假设的似然函数不能完全代表真实的数据生成过程。
• 为广义后验 $ p_w(\theta|x) \propto f(x;\theta)^w p(\theta) $ 中的功率参数 $ w $ 提供一种有原则且一致的赋值方法。
• 确保通过 $ w $ 调节的学习速率被校准，使得从数据中获得的先验期望信息增益与模型正确设定时的增益相同。
• 通过将对数似然视为损失函数并运用信息论原理，即使在模型不成立时也能保持贝叶斯更新的一致性。

提出的方法

• 该方法将加权似然模型下的先验期望信息增益 $ I_w(x) $ 与标准贝叶斯模型下的先验期望信息增益 $ I_1(x) $ 进行匹配。
• 利用真实密度 $ f_0(x) $ 与模型密度 $ f(x;\theta) $ 之间的 Kullback-Leibler 散度来定义目标参数 $ \theta_0 $，该参数最小化此散度。
• 通过求解方程 $ \int I_w(x) f_0(x) dx = \int I_1(x) f(x;\theta_0) dx $ 确定功率参数 $ w $，以确保在两种模型下期望信息增益相等。
• 信息增益通过先验与后验分布之间的费舍尔信息距离来衡量，使用平方得分函数作为信息的代理指标。
• 该方法使用经验分布 $ F_n(x) $ 来估计 $ (x,\theta) $ 的联合密度，将假设的 $ f(x;\theta) $ 替换为 $ f(x;\widehat{\theta}) $，以在模型错误设定下实现更真实的估计。
• 在加权似然下的得分函数为 $ S_w(x,\theta) = w S(x,\theta) $，通过令两种模型下期望平方得分相等，实现对 $ w $ 的校准。

实验结果

研究问题

• RQ1 当统计模型被错误设定时，广义贝叶斯推断中的功率参数 $ w $ 如何被正式校准？
• RQ2 何种原则可确保 $ w $ 的选择能实现对最小化与真实数据生成分布之间 Kullback-Leibler 散度的参数 $ \theta_0 $ 的一致学习？
• RQ3 为何在标准模型与加权似然模型下，从数据中获得的先验期望信息增益应保持一致？
• RQ4 如何利用先验与后验之间的费舍尔信息距离，在模型错误设定的背景下定义有意义的信息增益度量？

主要发现

• 当模型正确设定时，该方法自动设定 $ w=1 $，恢复标准贝叶斯后验。
• 当模型被错误设定时，该方法得出 $ w \neq 1 $，通过调整学习速率来反映模型拟合度的偏差。
• 校准后的 $ w $ 确保在两种模型下，单个观测带来的先验期望信息增益完全相同，从而保持一致性。
• 该方法使用平方得分函数作为信息增益的度量，其与费舍尔信息一致，并允许利用观测数据进行经验校准。
• 该方法对模型错误设定具有鲁棒性，通过在不同模型间对齐信息增益，避免了后验不确定性估计的过度或不足。
• 数值示例表明，经校准 $ w $ 得到的后验比标准贝叶斯后验更接近于正确模型精度下的后验。