[论文解读] Kullback-Leibler Divergence for Bayesian Nonparametric Model Checking

Luai Al‐Labadi, Viskakh Patel+2 more|arXiv (Cornell University)|Mar 2, 2019

Bayesian Methods and Mixture Models参考文献 32被引用 4

一句话总结

本文提出了一种新颖的贝叶斯非参数模型检验方法，通过利用相对信念比来评估对参数模型的支持或反对证据，解决了使用Kullback-Leibler（KL）散度与狄利克雷过程结合时长期存在的问题。该方法比较了先验与后验分布下KL散度的集中程度，实现了无需闭式表达式或模型参数先验的高效模型检验，并在多种数据类型和分布下表现出色。

ABSTRACT

Bayesian nonparametric statistics is an area of considerable research interest. While recently there has been an extensive concentration in developing Bayesian nonparametric procedures for model checking, the use of the Dirichlet process, in its simplest form, along with the Kullback-Leibler divergence is still an open problem. This is mainly attributed to the discreteness property of the Dirichlet process and that the Kullback-Leibler divergence between any discrete distribution and any continuous distribution is infinity. The approach proposed in this paper, which is based on incorporating the Dirichlet process, the Kullback-Leibler divergence and the relative belief ratio, is considered the first concrete solution to this issue. Applying the approach is simple and does not require obtaining a closed form of the relative belief ratio. A Monte Carlo study and real data examples show that the developed approach exhibits excellent performance.

研究动机与目标

• 解决在狄利克雷过程产生离散测度时，将Kullback-Leibler散度应用于贝叶斯非参数模型检验的根本性挑战。
• 开发一种实用且可实现的方法，避免因离散与连续分布之间KL散度导致的无穷大问题。
• 通过相对信念比直接提供对参数模型支持或反对的统计证据，而无需对模型参数施加先验。
• 通过蒙特卡洛模拟和多种分布（包括正态、极值Gumbel分布和重尾分布）的真实数据示例，证明该方法的稳健性和准确性。
• 提供一种通用、用户友好的模型检验方法，不依赖于复杂先验或闭式解。

提出的方法

• 将狄利克雷过程用作真实底层分布的非信息先验，以实现灵活的非参数建模。
• 采用真实分布与假设参数模型之间的Kullback-Leibler散度作为差异度量。
• 通过比较先验与后验分布下KL散度的集中程度来评估模型证据。
• 应用相对信念比（RB）量化数据对模型的支持或反对证据，其中RB > 1表示支持证据。
• 使用蒙特卡洛采样估计KL散度的后验分布并计算相对信念比，无需解析表达式。
• 通过校准尺度衡量证据强度，接近1的值表示强支持证据，接近0的值表示强反对证据。

实验结果

研究问题

• RQ1 当狄利克雷过程导致离散测度时，Kullback-Leibler散度能否在贝叶斯非参数模型检验中有效使用？
• RQ2 在原则性的贝叶斯框架下，如何解决离散与连续分布之间KL散度的无穷大问题？
• RQ3 相对信念比能否在不依赖模型参数先验的情况下，提供对参数模型支持或反对的可靠且可解释的证据度量？
• RQ4 所提出的方法在包括正态、Gumbel、t分布和柯西分布在内的多种数据类型中是否保持高性能？
• RQ5 该方法能否在真实世界数据（如凯夫拉压力容器寿命数据）中检测到模型拟合不良，而这些数据在以往研究中被认为存在非正态性？

主要发现

• 当真实分布为标准正态分布（N(0,1)）时，相对信念比（RB）在a=1时为20，且在a=5时仍保持较高水平（13.2），表明对模型有强支持证据。
• 当真实分布为均值10、方差1的正态分布时，RB在a=1时仍保持高位（20），证实该方法在位置偏移下具有鲁棒性。
• 当真实分布为两个正态分布的混合（0.5N(-2,1) + 0.5N(2,1)）时，RB在a=1时降至0.3878，且在a≥5时降至0，正确识别出模型拟合不良。
• 对于重尾分布如自由度为0.5的t分布，RB在所有a≥1的取值下均为0，正确拒绝了正态模型。
• 在Gumbel模型示例中，RB在a=1时保持高位（20），且所有a值下强度均为1，为Gumbel模型提供了强支持证据。
• 在凯夫拉压力容器数据中，RB降至1以下（a=5时为1.81），强度下降至0.7009，正确识别出对正态性的反对证据，尤其在先验更集中时更为明显。