[论文解读] Introducing prior information in Weighted Likelihood Bootstrap with applications to model misspecification

Emilia Pompe|arXiv (Cornell University)|Mar 26, 2021

Bayesian Modeling and Causal Inference参考文献 56被引用 6

一句话总结

本文提出了后验自助法（Posterior Bootstrap），这是加权似然自助法的一种新颖扩展，通过引入先验信息来提升模型误设情况下的稳健性。通过使用惩罚优化或从先验预测分布生成的伪样本，该方法在保持频率学派性质的同时，实现了稳健的贝叶斯推断，即使在层次模型中也适用，其理论支持来自埃杰沃思展开（Edgeworth expansions），实证验证表明该方法对模型误设的敏感性显著降低。

ABSTRACT

We propose Posterior Bootstrap, a set of algorithms extending Weighted Likelihood Bootstrap, to properly incorporate prior information and address the problem of model misspecification in Bayesian inference. We consider two approaches to incorporating prior knowledge: the first is based on penalization of the Weighted Likelihood Bootstrap objective function, and the second uses pseudo-samples from the prior predictive distribution. We also propose methodology for hierarchical models, which was not previously known for methods based on Weighted Likelihood Bootstrap. Edgeworth expansions guide the development of our methodology and allow us to provide greater insight on properties of Weighted Likelihood Bootstrap than were previously known. Our experiments confirm the theoretical results and show a reduction in the impact of model misspecification against Bayesian inference in the misspecified setting.

研究动机与目标

• 为解决贝叶斯推断中模型误设的问题，即所假设的模型未能完全捕捉真实的数据生成过程。
• 将加权似然自助法框架扩展以恰当融入先验信息，而此前此类方法中缺乏对先验信息的处理。
• 为层次模型开发一种稳健的推断方案，此前加权似然自助法相关方法尚未解决此问题。
• 利用埃杰沃思展开为该方法提供理论依据，确保先验信念的表达方式与标准贝叶斯推断类似。
• 通过实证手段证明，与标准贝叶斯推断相比，所提出的方法能显著降低模型误设的影响。

提出的方法

• 提出两种融入先验信息的方法：在加权对数似然目标函数中加入先验项进行惩罚，以及从先验预测分布生成伪样本。
• 利用埃杰沃思展开指导超参数选择，并验证该方法在模型误设下的渐近行为。
• 应用顺序重要性重采样算法，以校正自助抽样过程中产生的近似误差。
• 通过联合优化群体水平参数与个体水平参数，开发一种可扩展且可并行化的算法，用于层次模型。
• 采用两阶段抽样过程：首先通过伪样本上的加权似然估计超参数，然后使用缩放后的权重抽取后验样本。
• 使用狄利克雷先验中的集中参数 $ c $ 控制伪样本的信息量，$ c $ 通过经验校准或理论指导确定。

实验结果

研究问题

• RQ1 能否在加权似然自助法框架中有效融入先验信息，以提升模型误设情况下的稳健性？
• RQ2 不同的先验融入方式——惩罚法与伪抽样法——如何影响推断结果的频率学派性质？
• RQ3 后验自助法能否扩展至层次模型，而此前加权似然自助法尚未实现此类扩展？
• RQ4 埃杰沃思展开在多大程度上揭示了加权似然自助法在模型误设下的行为特征？
• RQ5 与标准贝叶斯推断相比，该方法在有限样本中是否能有效降低模型误设的影响？

主要发现

• 后验自助法成功地将先验信息融入加权似然自助法，确保先验信念以类似于标准贝叶斯推断的方式被体现。
• 该方法显著降低了模型误设的影响，表现为在误设模型下后验样本与真实后验之间的巴氏距离（Bhattacharyya distance）更低。
• 在模型正确设定的场景下，后验自助法产生的后验分布与标准贝叶斯推断几乎完全一致，验证了其一致性。
• 对于层次模型，该方法能生成稳定且准确的后验估计，$ ilde{ heta} $ 和 $ ilde{ heta}_{k} $ 的核密度估计与完整贝叶斯推断结果高度吻合。
• 使用经校准的 $ c $ 生成的伪样本，相比固定 $ c $，在有限样本中表现更优，尤其在模型误设情况下优势明显。
• 实证结果表明，尽管 $ ilde{ heta} $ 与 $ ar{ heta} $ 在渐近意义上等价，但 $ ilde{ heta} $ 在有限样本中表现更优，表明所提算法具有更优的有限样本性质。