[论文解读] Scaling the Gibbs posterior credible regions

Nicholas Syring, Ryan R. Martin|arXiv (Cornell University)|Sep 3, 2015

Statistical Methods and Inference参考文献 33被引用 13

一句话总结

该论文提出Gibbs后验缩放（GPS）算法，以自适应地校准基于损失函数推断中Gibbs后验的缩放参数，确保可信区域的准确性和高效性。通过优化缩放参数以在分位数回归中实现精确校准，GPS生成的可信区间不仅校准良好，且比其他类似贝叶斯方法更高效。

ABSTRACT

In some applications, the relationship between the observable data and unknown parameters is described via a loss function rather than likelihood. In such cases, the standard Bayesian methodology cannot be used, but a Gibbs posterior distribution can be constructed by appropriately using the loss in place of a likelihood. Although misspecified by definition, Gibbs posteriors have a number of desirable properties; for example, we show that the Gibbs posterior converges at the same rate as the corresponding M-estimator. Inference based on the Gibbs posterior is not straight- forward, however, because the finite-sample performance is highly sensitive to the scale of the loss function. To meet this challenge, we propose a Gibbs Posterior Scaling (GPS) algorithm that adaptively selects the scaling in order to calibrate the corresponding Gibbs posterior credible regions. In the important quantile regres- sion problem, we show numerically that our Gibbs posterior credible intervals, with scale selected by the GPS algorithm, are exactly calibrated and are more efficient than those obtained via other Bayesian-like methods.

研究动机与目标

• 解决当损失函数尺度未知或错误指定时，Gibbs后验推断在小样本下的校准挑战。
• 开发一种自适应选择Gibbs后验缩放参数的方法，以确保可信区域的可靠性。
• 改进分位数回归中可信区间的效率和校准性，这是似然方法不适用的关键应用场景。
• 提供一种实用的、数据驱动的Gibbs后验缩放方法，其性能可媲美M-估计器，同时保持贝叶斯可解释性。

提出的方法

• GPS算法通过最小化一项准则，自适应地选择Gibbs后验的缩放参数，以确保经验覆盖概率与可信区域的名义覆盖概率一致。
• 该方法使用损失函数代替似然函数来定义Gibbs后验，将缩放参数视为需优化的调优变量。
• 通过类似交叉验证的程序选择缩放参数，评估多个数据划分下可信区间的覆盖性能。
• 该方法基于频次校准原则，确保在小样本中生成的可信区域具有预期的覆盖概率。
• 该算法应用于分位数回归，其在校准性和效率方面均优于其他类似贝叶斯方法。

实验结果

研究问题

• RQ1 当损失函数尺度未知或错误指定时，如何在小样本中校准Gibbs后验可信区域？
• RQ2 自适应缩放程序是否能在实践中提升Gibbs后验可信区间的覆盖准确性？
• RQ3 GPS计算的可信区间在分位数回归中与其它类似贝叶斯方法相比表现如何？
• RQ4 GPS算法在基于损失的推断中是否保持与底层M-估计器相同的收敛速率？
• RQ5 是否能够以一种确保精确校准的方式选择缩放参数，而无需完整似然建模？

主要发现

• GPS算法成功生成了在分位数回归中完全校准的Gibbs后验可信区间，其覆盖水平与名义水平一致。
• 与其它类似贝叶斯方法相比，GPS获得的可信区间更高效，体现在区间宽度更小。
• 在GPS下的Gibbs后验收敛速率与对应M-估计器相同，保持了频次最优性。
• 该方法对损失函数尺度的错误指定具有鲁棒性，适用于缩放未知的实际应用场景。
• 数值结果表明，GPS在提升校准性和效率方面表现优异，在分位数回归设置中优于现有替代方法。