[论文解读] Measuring Bayesian Robustness Using Rényi's Divergence and Relationship with Prior-Data Conflict

Luai Al‐Labadi, Ce Wang|arXiv (Cornell University)|May 15, 2019

Advanced Statistical Methods and Models被引用 1

一句话总结

本文提出了一种使用Rényi散度衡量贝叶斯稳健性的新方法，用于量化在污染先验下后验分布之间的曲率。它比较了两类先验——ε-污染先验和几何混合先验，并发现稳健性与先验-数据冲突之间存在强烈的实证关联，表明高稳健性与后验推断中的冲突减少相关。

ABSTRACT

This paper deals with measuring the Bayesian robustness of classes of contaminated priors. Two different classes of priors in the neighbourhood of the elicited prior are considered. The first one is the well-known $\epsilon$-contaminated class, while the second one is the geometric mixing class. The proposed measure of robustness is based on computing the curvature of Renyi's divergence between posterior distributions. The relationship between robustness and prior data conflict has been studied. Through two examples, a strong connection between robustness and prior-data conflict has been found.

研究动机与目标

• 开发一种在先验污染条件下的贝叶斯推断稳健性度量。
• 比较两类污染先验：ε-污染先验和几何混合先验。
• 研究后验分布中稳健性与先验-数据冲突之间的关系。
• 提出一种基于曲率的度量方法，使用Rényi散度进行敏感性分析。

提出的方法

• 使用Rényi散度量化在不同污染先验下后验分布的曲率。
• 应用ε-污染先验类，其中先验是所获取先验与污染分布的混合。
• 采用几何混合先验类，通过基先验与污染源的几何混合来建模先验不确定性。
• 计算Rényi散度对污染参数的二阶导数，以评估稳健性的曲率。
• 分析两类先验下的后验分布，以评估敏感性和稳健性。
• 使用两个说明性例子展示稳健性与先验-数据冲突之间的关系。

实验结果

研究问题

• RQ1 Rényi散度如何捕捉在先验污染下后验分布的曲率？
• RQ2 在贝叶斯模型中，ε-污染先验与几何混合先验的稳健性有何比较？
• RQ3 先验-数据冲突在多大程度上与后验推断中的低稳健性相关？
• RQ4 Rényi散度的曲率能否作为敏感性分析中稳健性的可靠指标？
• RQ5 不同的污染结构如何影响后验分布的稳定性？

主要发现

• Rényi散度在后验分布之间的曲率提供了一种可量化的贝叶斯稳健性度量，适用于先验污染情形。
• ε-污染先验与几何混合先验表现出不同的稳健性特征，后者显示出更稳定的曲率行为。
• 在所研究的例子中，发现低稳健性与高先验-数据冲突之间存在强烈的实证关联。
• 在高冲突情景下，后验分布表现出Rényi散度更大的曲率，表明稳健性降低。
• 所提出的度量方法能通过先验污染的敏感性有效识别先验-数据冲突。