[论文解读] Calibration of conditional composite likelihood for Bayesian inference on Gibbs random fields

Julien Stoehr, Nial Friel|arXiv (Cornell University)|Feb 6, 2015

Markov Chains and Monte Carlo Methods参考文献 15被引用 8

一句话总结

该论文提出了一种用于贝叶斯推断中吉布斯随机场的后验分布校准方法，针对由于归一化常数不可计算而导致完整似然函数不可计算的情况，采用条件复合似然方法。通过调整复合似然的均值、方差和曲率，该方法校正了后验集中度，并提高了近似精度，如在自逻辑模型和伊辛模型的模拟中，均方根误差（RMSE）和KL散度均显著降低。

ABSTRACT

Gibbs random fields play an important role in statistics, however, the resulting likelihood is typically unavailable due to an intractable normalizing constant. Composite likelihoods offer a principled means to construct useful approximations. This paper provides a mean to calibrate the posterior distribution resulting from using a composite likelihood and illustrate its performance in several examples.

研究动机与目标

• 为解决吉布斯随机场中不可计算似然的问题，特别是自逻辑模型和伊辛模型等空间模型中的问题。
• 校正基于条件复合似然获得的后验分布的过度自信和不准确性，这些后验分布通常低估方差并使均值发生偏移。
• 开发一种校准框架，通过调整复合似然的几何结构（包括均值、量级和曲率校正）以更好地匹配真实后验分布。
• 使用RMSE和KL散度指标评估校准后复合似然在后验近似质量方面的表现。
• 在未来工作中将复合似然方法的应用扩展到更复杂的模型，如指数随机图模型。

提出的方法

• 该方法基于节点给其邻居的局部条件分布，使用条件复合似然（CL），通过节点子集的乘积来近似联合似然。
• 引入一种校准方案，通过调整对数似然的均值、量级（尺度）和曲率（Hessian矩阵）来修正复合似然的误设。
• 调整过程通过矩阵 $ W $ 实现参数空间的变换，重新加权精度矩阵，使近似后验与真实后验的几何结构对齐。
• 使用 Frobenius 范数 $ \| \mathbf{K}_{\text{CL}}(\theta) \mathbf{K}^{-1}(\theta) \|_{\text{F}} / \sqrt{2} $ 验证校准效果，以衡量后验曲率的差异。
• 通过100次模拟中近似后验与真实后验之间的相对均方根误差（RMSE）和平均Kullback-Leibler（KL）散度来评估后验近似质量。
• 该方法应用于各向异性的首阶伊辛模型和具有不同参数设置的首阶自逻辑模型。

实验结果

研究问题

• RQ1 在吉布斯随机场中，条件复合似然如何影响后验分布的几何结构？
• RQ2 与真实后验相比，复合似然后验在多大程度上高估了精度并低估了方差？
• RQ3 基于均值、量级和曲率调整的校准程序是否能有效校正基于复合似然的后验误设？
• RQ4 不同校准策略（如均值+量级与均值+曲率）在减少RMSE和KL散度方面有何比较优势？
• RQ5 校准后的复合似然方法能否扩展到具有更复杂依赖结构的模型（如指数随机图模型）？

主要发现

• 未校准的条件复合似然后验（$ w=1 $）的相对均方根误差（RMSE）为1.28，平均KL散度为2.25，表明后验存在显著误设。
• 应用均值和量级调整（$ w = w^{(5)} $）后，RMSE降低至0.525，平均KL散度降低至0.079，表明后验近似质量得到显著提升。
• 对于首阶自逻辑模型，未校准的CL后验的RMSE为3.44，AKLD为2.38，表明后验几何结构严重扭曲。
• 曲率校正后的后验将RMSE降至0.96，AKLD降至1.89，表明在相关结构误设时，校正Hessian矩阵对准确后验近似至关重要。
• 图3(c)的箱线图证实，校准后的后验能更好地捕捉真实后验的分布范围，尤其在高维设置下表现更优。
• 研究表明，在依赖关系关键的模型中，曲率调整比量级调整在纠正相关结构方面更为有效。